Avautuminen tieteellisestä tutkimuksesta

[Rinkku]

Mä tein aikoinani gradun kasvatusfilosofiasta. Lueskelin siinä tietenkin tosi paljon angloamerikkalaisia alan lehtiä, ja olin kyllä melko järkyttynyt: Noin 80 prosenttisesti siellä pyöri noin 10-20 tyypin kaveriporukka, jotka lätisi keskenään. Esim. kaksi tyyppiä, joilla oli koulukuntaero, saatto parin vuoden aikana lätistä täysin samasta asiasta kolmessa eri lehdessä. Se oli hämmentävää. Olisi kiinnostavaa tietää, että miten monta artikkelia nää tuotteliaimmat saa julkaistua vuoden sisällä. Yhtä kiinnostavaa olisi tietää, että miten paljon ne jorisee samaa asiaa, hieman eri sanankääntein, eri lehdessä. Eli mikä olisi esim. "maailman ennätys" siinä, että on saatu julkaistua periaatteesaa samat argumentit mahdollisimman monessa lehdessä...

 

[protsku]

Olisi kiinnostavaa tietää, että miten monta artikkelia nää tuotteliaimmat saa julkaistua vuoden sisällä. Yhtä kiinnostavaa olisi tietää, että miten paljon ne jorisee samaa asiaa, hieman eri sanankääntein, eri lehdessä.

Samaa asiaa joristaan todella paljon koska periaatteessa sama artikkeli voi ilmestyä lievästi muunneltuna kaikissa näissä kategorioissa:

1.Kausijulkaisut
2.Kirjan luvut
3.Konferenssijulkaisut
4.Kuukausittain tai neljännesvuosittain ilmestyvät julkaisut
5.Tekniset raportit
6.Opetusmateriaalit ja oppikirjat
7.Tutkielmat
8.Väitöskirjat

Poistamalla tarpeeton toisto minkä tahansa tiedekunnan tai laitoksen julkaisuista jäljelle jää ehkä noin 10% aidosti uutta materiaalia. Ja näistäkin 90% perustuu aikaisemmin julkaistuun tutkimukseen jota on sitten yhdistelty jollain sopivaksi katsotulla tavalla.

Olen kuitenkin sitä mieltä että yliopistojen harjoittama tutkimustyö on siihen laitetun rahan arvoinen koska mitään parempaakaan systeemiä ei ole toistaiseksi keksitty. Ehkä noin yksi julkaisu miljoonasta on sitten sitä Nobel-tasoa.

:arvi:

 

[indigof73]

Näinhän se käytännössä menee. Toimituskuntaan kuuluvat proffat tosin ottavat julkaisuun artikkeleita kavereilta ohi seulan. Lisäksi perinteisen tasokkaan blind reviewin korvaa usein toimittava proffa.

Tuli tästä peer review -järjestelmästä vielä mieleen, että sen tulisi olla molempiin suuntaan 'blind'. Refereet eivät saisi olla tietoisia, kuka jutun takana on. On nimittäin niin, että kun sinulle riittävästi tunnettuvuutta tutkimusalallasi, papereita saa helpommin läpi. Refereet ikään kuin luottavat siihen, kaveri on ennenkin julkaissut hyviä juttuja, niin tuskin nykyisessäkään on mitään sen kummempaa vikaa...laitetaanpa 'accept with minor revisions'. Kaikkein pahinta on, että lehdissä näkee juttuja arvostetuilta tutkijoilta, jotka julkaisevat uudelleen töitä jotka joku muu on jo esittänyt (sanomattakin on selvää, että mitään viittausta näihin alkuperäisiin töihin ei paperista löydy).

 

[protsku]

lehdissä näkee juttuja arvostetuilta tutkijoilta, jotka julkaisevat uudelleen töitä jotka joku muu on jo esittänyt (sanomattakin on selvää, että mitään viittausta näihin alkuperäisiin töihin ei paperista löydy)

Näin on ollut aina ja näin tulee olemaan aina. Siltikään kysymys ei ole plagioinnista jos mukana on riittävästi omaa panosta.

 

[urkki]

Kyllähän fakta on että nykyinen yliopistojen rahoitusmalli kannustaa tuottamaan määrää ei laatua ja kaikki tämä romuttuu vielä enemmän kun ammattikorkeakoulujen "tutkimusta" aletaan yhdistää samaan järjestelmään opetusministeriön taholta. Oikeasti tasokkaiden väitöskirjojen määrä on häviävän pieni murto-osa kirjojen kokonaisbulkista. Lisäksi on yliopistotasontutkimuksessakin suuria eroja eri alojen välillä esim. siinä että pitääkö väitöskirjan perustua tieteellisiin julkaisuihin.

Valitettava tosiasia on myöskin, että suomessa on ainoastaan muutamia laboratorioita joilla on kansainvälistä arvostusta. Toki kaikenlaista artikkelia suolletaan jatkuvasti, muuta jos ne päätyvät huonoihin lehtiin (peer review lehdistäkin suurin osa on huonoja) ei niitä kukaan edes lue. Se että millä mittarilla lehtien laatua arvioidaan - impact factor, citation half life etc. - on ongelmallinen asia ja siitä keskustellaan laajasti maailmalla. Vaikka IF:ia parjataan jatkuvasti, on se mielestäni kuitenkin aivan hyvä mittari lehden laadusta, koska suuren impaktin lehtiin tulee valtavat määrät juttuja, joista ne voivat sitten karsia mielestään parhaat. Heillä on myöskin yleensä eri alojen huipuista koostuvat asiantuntija editorit sekä refereet. Eihän tämä nykyinen review systeemi objektiivinen ole - kavereita suositaan - mutta kyllä se pääosin kuitenkin toimii.

Rahoituksesta... Välillä tuntuu että esim. suomen akatemia on menettänyt kaiken objektiivisuutensa rahoituspäätöksissa (yksityisillä säätiöillä tämä on yleensä ennemmin sääntö kuin poikkeus, mutta koska he jakavat yksityisten rahoja niin kyllähän heillä on siihen oikeus). Tiedän monta tapausta joissa akatemia ei ole myöntänyt rahoitusta vaikka hakemus ja tutkimusprojektit on arvioitu erinomaisiksi. Mitä järkeä näitä asiantuntija arvioita on edes teettää, jos rahat kuitenkin jaetaan poliittisin tai kaveriperustein. Yleisimmin rahoitukseen pätee rahaa rahan päälle malli. Tällä hetkellä ei kyllä voi henkilökohtaisesti valittaa, kun rahoitusta on enemmän kuin riittävästi... Näyttää nuilla hyvillä julkaisuilla kuitenkin jotain merkitystä vielä olevan.

 

[indigof73]

Ehkä noin yksi julkaisu miljoonasta on sitten sitä Nobel-tasoa.

Nykyisinhän on siirrytty yhä enemmän 'elämäntyö'-Nobeleihin, koska monet tiedealat ovat siinä vaiheessa, että mitään todella käänteentekevää on vaikea saada aikaan. Lisäksi nykyaikana kaupalliset intressit ja tulosvastuullisuus ohjaavat tutkimusta - rahoittajat kaipaavat niitä tuloksia ja koska rahoituskaudet ovat erittäin lyhyitä, mihinkään suuriin epäonnistumisiin ei ole varaa. Tämän seurauksena ajatukset tutkijan päässä konvergoituvat kohti sitä tunnelin päässä näkyvää valoa.

 

[protsku]

Mitä järkeä näitä asiantuntija arvioita on edes teettää, jos rahat kuitenkin jaetaan poliittisin tai kaveriperustein. Yleisimmin rahoitukseen pätee rahaa rahan päälle malli.

Sama malli pätee liike-elämässä, politiikassa, armeijassa jne.

 

[indigof73]

Näin on ollut aina ja näin tulee olemaan aina. Siltikään kysymys ei ole plagioinnista jos mukana on riittävästi omaa panosta.

Tämä on kuitenkin asia johon refereiden pitäisi puuttua. Jos he eivät tunne omaa tutkimusalaansa, heidän pätevyyttään voi suuresti epäillä.

 

[urkki]

Nykyisinhän on siirrytty yhä enemmän 'elämäntyö'-Nobeleihin, koska monet tiedealat ovat siinä vaiheessa, että mitään todella käänteentekevää on vaikea saada aikaan. Lisäksi nykyaikana kaupalliset intressit ja tulosvastuullisuus ohjaavat tutkimusta - rahoittajat kaipaavat niitä tuloksia ja koska rahoituskaudet ovat erittäin lyhyitä, mihinkään suuriin epäonnistumisiin ei ole varaa. Tämän seurauksena ajatukset tutkijan päässä konvergoituvat kohti sitä tunnelin päässä näkyvää valoa.

Nobeleiden ongelmana on että myöntöperusteiden mukaan palkittavan työn pitää olla keksintö. Nykyään kun monista asioista tiedetään jo hyvin paljon eri tutkimusryhmät keskittyvät selvittämään pienempiä yksityiskohtia. Kun sitten halutaan jakaa Nobel tietystä aiheesta niin yleensä löytyy monta tutkimusryhmää, jotka ovat kukin osaltaan vaikuttaneet suht. tasavertaisesti nykyiseen tietämykseen. Tästähän käy hyvänä esimerkkinä vaikkapa tämä magneettikuvauksen Nobel. Voipi olla tulevaisuudessa hyvin vaikeaa enää löytää aiheita jossa palkinto voitaisiin yksiselitteisesti yksilöildä yhdelle tai kahdelle henkilölle.

 

[indigof73]

Valitettava tosiasia on myöskin, että suomessa on ainoastaan muutamia laboratorioita joilla on kansainvälistä arvostusta. Toki kaikenlaista artikkelia suolletaan jatkuvasti, muuta jos ne päätyvät huonoihin lehtiin (peer review lehdistäkin suurin osa on huonoja) ei niitä kukaan edes lue. Se että millä mittarilla lehtien laatua arvioidaan - impact factor, citation half life etc. - on ongelmallinen asia ja siitä keskustellaan laajasti maailmalla. Vaikka IF:ia parjataan jatkuvasti, on se mielestäni kuitenkin aivan hyvä mittari lehden laadusta, koska suuren impaktin lehtiin tulee valtavat määrät juttuja, joista ne voivat sitten karsia mielestään parhaat. Heillä on myöskin yleensä eri alojen huipuista koostuvat asiantuntija editorit sekä refereet. Eihän tämä nykyinen review systeemi objektiivinen ole - kavereita suositaan - mutta kyllä se pääosin kuitenkin toimii.

Kyllä itsekin olen sitä mieltä, että IF pääosin hyvä mittari. Sen ongelma on kuitenkin se, että tietyt tieteenalat ovat tällä mittarilla täysin yliarvostettuja. Aina se ei toimi edes tieteenalojen sisällä -hyvänä esimerkkinä esim. JBC ja JMB.

Rahoituksesta... Välillä tuntuu että esim. suomen akatemia on menettänyt kaiken objektiivisuutensa rahoituspäätöksissa (yksityisillä säätiöillä tämä on yleensä ennemmin sääntö kuin poikkeus, mutta koska he jakavat yksityisten rahoja niin kyllähän heillä on siihen oikeus). Tiedän monta tapausta joissa akatemia ei ole myöntänyt rahoitusta vaikka hakemus ja tutkimusprojektit on arvioitu erinomaisiksi. Mitä järkeä näitä asiantuntija arvioita on edes teettää, jos rahat kuitenkin jaetaan poliittisin tai kaveriperustein. Yleisimmin rahoitukseen pätee rahaa rahan päälle malli.

Näinhän se valitettavasti menee, tärkeintä on että päätöstä käsittelevässä toimikunnassa istuu joku tyyppi joka jollakin tasolla tuntee sinut -muuten on vaikeaa. Tämän takia on tärkeää, että omalta alalta joku tyyppi siellä toimikunnassa -muuten koko tieteenala voi jäädä ilman rahoitusta vaikka se olisi kuinka tunnustettua kansainvälisesti.

 

[indigof73]

Nobeleiden ongelmana on että myöntöperusteiden mukaan palkittavan työn pitää olla keksintö. Nykyään kun monista asioista tiedetään jo hyvin paljon eri tutkimusryhmät keskittyvät selvittämään pienempiä yksityiskohtia. Kun sitten halutaan jakaa Nobel tietystä aiheesta niin yleensä löytyy monta tutkimusryhmää, jotka ovat kukin osaltaan vaikuttaneet suht. tasavertaisesti nykyiseen tietämykseen. Tästähän käy hyvänä esimerkkinä vaikkapa tämä magneettikuvauksen Nobel.

Mutta positiivista sinänsä se, että MRI:kin sai Nobelinsa.

 

[Anssi Manninen]

Ei pidä täysin paikkaansa. Monissa review-lehdissä, joista monet lasketaan hyvinkin arvostetuiksi tiedelehdiksi, sillä ne nostavat impact factoriaan (mitenkään ottamatta kantaa siihen on IF laadukkaan tutkimuksen mittari) pyytämällä katsausartikkeleita tunnustetuilta tutkijoilta. Näissä lehdissä 'review board' on usein sama kuin editorial board, jolloin tuon independent peer review -järjestelmä on kyseenalaistunut.

No joko tapauksessa peer review -järjestelmä käytössä.

Yleensähän Editorial Boardin jäsenet osallistuu arvointiin, eli siis yksi tyyppi Edit. Boardista ja yksi ulkopuolinen arvioija ja päätoimittaja tekee lopullisen päätöksen julkaisusta ja ristiriitaisissa tapauksissa ottaa yhteyttä vielä kolmanteen tyyppii. Näin ainakin toimii piakkoin aloittava Nutrition & Metabolism, jossa olen itse yksi Associate Editoreista.

 

[Rinkku]

Kaikenlaisten 5 sentin tutkimusten perusongelma, joissa tehdään tilastollisesti merkittäviä löytöjä, on, että ne perustuvat todennäköisyyden frekventistiseen tulkintaan. Se on kaikkien ongelmien äiti.

Tarkoittaako tämä sitä, että jos tarpeeksi kerätään dataa ja numeroita, niin aina sieltä ristiintaulukoimalla löytyy kahden muuttujan välinen korrelaatio, ja sitten tätä korrelaatiota pidetään "löytönä"?

 

[Dragon]

Tarkoittaako tämä sitä, että jos tarpeeksi kerätään dataa ja numeroita, niin aina sieltä ristiintaulukoimalla löytyy kahden muuttujan välinen korrelaatio, ja sitten tätä korrelaatiota pidetään "löytönä"?

Tämä on totta. Korrelaatioita saa mistä vaan aikaiseksi kun kerää riittävästi aineistoa.

Esim: Jäätelön syönnillä ja hukkumiskuolemilla on yhteys!

 

[skeema]

Tarkoittaako tämä sitä, että jos tarpeeksi kerätään dataa ja numeroita, niin aina sieltä ristiintaulukoimalla löytyy kahden muuttujan välinen korrelaatio, ja sitten tätä korrelaatiota pidetään "löytönä"?

Periaatteessa tuokin käy esimerkistä, jos ei oikein tiedä, mitä tekee. Esim. jos muuttujia on 10 kappaletta, muuttujapareja on olemassa 45 kpl. Kun tehdään moninkertaista testausta pitäisi ottaa huomioon, että silloin todennäköisyys, että tilastollisesti merkittäviä löytöjä tehdään sattumalta kasvaa testien lukumäärän funktiona. Tätä varten testeissä pitäisi soveltaa korjausmenetelmiä (esim. Bonferroni-korjaus).

Oikeastaan ajoin takaa syvällisempää ongelmaa. Voidaan osoittaa, että eräiden kolmen yksinkertaisen aksioman vallitessa ainoa ristiriidaton päättelykalkyyli perustuu todennäköisyyden subjektiiviseen tulkintaan (Cox-Jaynes axioms).

 

[skeema]

Esim: Jäätelön syönnillä ja hukkumiskuolemilla on yhteys!

Jep. Jos etsitään kausaaliteettiyhteyksiä jäätelön syönnillä ja hukkumisilla
ei ole tekemistä keskenään. Toisaalta, jos tarkoitus on etsiä korrelaatioita, niin jäätelön syönnillä ja hukkumiskuolemilla on ihan validi yhteys.

 

[Huonojalkainen]

Jep. Jos etsitään kausaaliteettiyhteyksiä jäätelön syönnillä ja hukkumisilla
ei ole tekemistä keskenään. Toisaalta, jos tarkoitus on etsiä korrelaatioita, niin jäätelön syönnillä ja hukkumiskuolemilla on ihan validi yhteys.

Tutkija on ollut kriittinen, kun on tyytynyt esittämään ainoastaan korrelaation, eikä ole väittänyt jäätelön syönnillä ja hukkumiskuolemilla olevan kausaalista yhteyttä. :D

 

[protsku]

Tutkija on ollut kriittinen, kun on tyytynyt esittämään ainoastaan korrelaation, eikä ole väittänyt jäätelön syönnillä ja hukkumiskuolemilla olevan kausaalista yhteyttä. :D

Onhan tässä koko joukko muitakin parametreja: annoskoko, jäätelön merkki, lämpötila, missä ajassa jäätelö syötiin, kuinka pian hukkuminen tapahtui jäätelön syömisestä, hukuttiinko kotona vai asunnon ulkopuolella...........

:kippis1:

 

[Rinkku]

Periaatteessa tuokin käy esimerkistä, jos ei oikein tiedä, mitä tekee. Esim. jos muuttujia on 10 kappaletta, muuttujapareja on olemassa 45 kpl. Kun tehdään moninkertaista testausta pitäisi ottaa huomioon, että silloin todennäköisyys, että tilastollisesti merkittäviä löytöjä tehdään sattumalta kasvaa testien lukumäärän funktiona. Tätä varten testeissä pitäisi soveltaa korjausmenetelmiä (esim. Bonferroni-korjaus).

Oikeastaan ajoin takaa syvällisempää ongelmaa. Voidaan osoittaa, että eräiden kolmen yksinkertaisen aksioman vallitessa ainoa ristiriidaton päättelykalkyyli perustuu todennäköisyyden subjektiiviseen tulkintaan (Cox-Jaynes axioms).

Mikä on pääaineesi? Itse olen YTM enkä ymmärrä hölkäsen pöläystä siitä, mitä tuossa ylhäällä selität? Voitko kääntää tuon sellaiselle suomelle, että sen ymmärtää edes 10 prosenttia pakkotoiston lukijoista? Oletko itse tietoinen etenkin tuon jälkimmäisen kappaleen kielellisestä monimutkaisuudesta? (Siinä mielessä koomista, että tiedettähän nimenomaan voidaan kritisoida retoriikasta, joka aukenee vain muutamalle topicin tuntevalle frendille...)

 

[Simba]

Pari rikkinäisen sähikäisen lailla säkenöivää pointtia:

1. Jos puhutaan aloista jotka tuottavat valmistumisen jälkeen kolmikirjaimet VTM tai YTM en ole törmännyt, eikä mulle myöskään opiskeluaikoina pyynnöistäni kyetty esittämään yhtä ainoaa tutkimusta joka olisi jollain tavalla hyödyttänyt yhteiskuntaa muuten kuin "lisäämällä tietoa tutkittavasta aiheesta".

2. Apurahaa saa nimenomaan tällä argumentilla "lisää tietoa tutkittavasta aiheesta". Ehkä olen tyhmä mutta mä en ymmärrä koko argumenttia lähtökohtaisestikaan. Toisekseen se ei ole edes totta kun se "tiedon lisäys" koskee niitä muutamaa hassua ihmistä jotka sen tutkimuksen sattuvat lukemaan.

3. Ainakaan valtsikassa ei tunneta minkään sortin tulosvastuuta. Jos duuni ei oo neljän vuoden apurahan jälkeen valmis lisärahoitusta saa huonollakin meriselityksellä.

4. Tiedeyhteisöthän kehittää tämän jargonin eli oman sisäisen slanginsa nähdäkseni pitkälti sen takia että silloin ulkopuoliset ei ymmärrä kuinka turhaa juttua tässä oikeesti tutkitaan ja kuinka spedeä läppää sitä loppupeleissä tuli kirjoitettua...