Už nějakou dobu tu sleduji diskuze v komentářích na téma věda. Vzhledem k tomu, že většina komentářů je mimo mísu, rozhodl jsem se napsat něco na toto téma a problematiku trochu osvětlit.
1. Úvod
Jedním z nejčastějších a (alespoň u opravdových vědců) naprosto nesmyslných tvrzení je že vědci jsou placeni “od písmenka” a jediným kritériem hodnocení je počet napsaných článků jakékoliv kvality. Rád bych se podělil o svou zkušenost s výzkumem, publikováním atd. Pokud vám přijde článek přínosný, dejte mi vědět že je zájem a napíšu další, trochu po vzoru kamionové série z minulého roku. Témat mám dost – recenzní řízení, granty, PhD, věda a “věda” v ČR, konference, najde se toho spousta…
Pracuji v současnosti na jedné z předních Britských univerzit, mám ale nějakou zkušenost i z ČVUT FEL v Praze. Dál musím říct, že dělám Computer Science a mám trochu vhled do Material Science kde dělá výzkum pro změnu moje přítelkyně. Tím pádem to vidím spíš ze směru technických věd. Nevím jak to chodí v matematice, přírodních vědách, medicíně a podobných, ale předpokládám že dost věcí bude podobných.
2. Typy publikací
Budu se občas ohánět termíny jako konferenční nebo časopisecký článek. Nejdřív se pokusím nastínit kde a jak se publikuje, než se dostanu dál.
Ještě bych rád řekl, že dobrá publikace znamená publikace v angličtině. Pokud někdo píše v češtině (možná s výjimkou popularizačních článků), ruštině, němčině, atd., a myslí si že jeho články jsou vědecké, měl by se podívat za hranice svého dvorku. Listy cukrovarnické a řepařské nepovažuji za kvalitní místo k publikaci.
2.1 Sborníky konferencí
O konferencích by se dal napsat (a pokud bude zájem tak napíšu) samostatný článek, pokusím se jen shrnout. Vybral jsem si konference záměrně jako první, protože tady jsou asi největší rozdíly mezi obory. V mnoha oborech (třeba zmiňované materiály) jsou konference převážně sociální událostí. Přesto je považuji za přínosné, když ne přímo nutné. Aktivní vědec se potřebuje stýkat s kolegy pracujícími na podobných problémech, nejlépe z celého světa. Sborníky tu obsahují pouze “abstrakty”, nebo-li jedno- až dvoustránková shrnutí o čem přednáška je. Podíl přijatých bývá vysoký, řekněme kolem 80 %, projde všechno co je relevantní a není úplný nesmysl.
V Computer Science je to dost jiné [a]. Sborníky obsahují kompletní články, obvykle 8-15 stránek, a do špičkových konferencí je dost těžké něco dostat, i pokud děláte výzkum na světové úrovni. Podíl přijatých článků může být klidně i pouhých 20 nebo 30 procent! Konference jsou pak primárním cílem pro publikaci nového výzkumu. Články v časopise bývají rozšířené verze konferenčních, případně vzniknou sloučením několika souvisejících konferenčních dohromady. V časopisech ale většinou nelze očekávat výzkum úplně nový, od toho jsou konference. Časopisecké články jsou uhlazenější, finální, archivní… Problém nastává, když ve vedení univerzit sedí někdo, kdo tohle neví a nevnímá konferenční články jako plnohodnotné. Pak za ně člověk není řádně oceněn přestože publikuje ve špičkových místech na světové úrovni. Různí lidé tohle řeší různě, třeba počítačoví grafici publikují všechny články ze své nejlepší konference (a tím samozřejmě myslím doslova nejlepší na světě) ve “Special Issue” časopisu ACM Transactions on Graphics.
Samozřejmě, píšu o “dobrých” konferencích, kde potkáte světové špičky ve svém oboru. Samozřejmě, existují takové kam si Jarda s Lojzou přijedou pokecat u kafe, aby vykázali nějakou činnost. Takové, kde vám za poplatek otisknou i článek náhodně vygenerovaný. A taky takové, které se konají “zajímavě” blízko u alpských sjezdovek, a přednášky jsou jen dopoledne, protože “se očekává, že odpoledne budou účastníci lyžovat”. Podle toho, na jaké konference jezdíte, se dá poznat, jestli jste dobrý vědec, slabý vědec a nebo “vědec”.
2.2 Odborné časopisy
Odborné časopisy jsou asi nejběžnější formou publikace mimo Computer Science. Něco vymyslím, napíšu o tom článek, pošlu ho do časopisu. Když se prokoušu recenzním řízením (více níže), mám publikaci. Jednoduché. Jen trochu pomalé, publikovat článek ve slušném časopise (od odeslání do přijetí a vystavení na webu, papír už se u nás moc nedělá) trvá alespoň rok, klidně ale i dva. Proto třeba my publikujeme na konferencích, kde je to maximálně půl roku, v Computer Science ztratí článek půlku své hodnoty za dva roky. Časopisecký článek mívá rozsah od cca 10 stránek do několika desítek.
Opět píšu jen o dobrých časopisech. Samozřejmě jsou takové (víc v Sekci 5), kde vám za poplatek otisknou cokoliv, u těch pak celé “recenzní” řízení trvá řádově dny. Slyšel jsem i o časopisech kde mají “in the house” recenzenty na plný úvazek, to pak může celý proces o mnoho zkrátit při zachování vysoké kvality; osobní zkušenost s tím ale nemám a tak nemůžu hodnotit.
2.3 Online archivy
Jsou i podobory, kde půl roku mezi “nápadem” a publikací je moc dlouho. Příklad je například “deep learning”, kde v posledních cca dvou letech sleduji probíhající téměř revoluci v umělé inteligenci. Tady pak můžou pomoci online repozitáře článků, kde se většinou kontroluje jen formální správnost a tak je článek zveřejněný za pár dní. Příkladem může by arXiv, hodně používaný v mém oboru. Samozřejmě se pak takovým článkem nemůžete moc chlubit “on its own”, ale často jde o to dostat nějakou novinku ven před tím než to udělá někdo jiný… A o to jde, můžu si prostě vystavit pdf-ko na svůj web (a občas se to dělá, jako “Technical report”), ale tam není moc velká kontrola kdy a co jsem tam dal; v případě veřejného repozitáře můžu mít slušnou důvěru že tento článek tam opravdu visí od tohoto data.
2.4 Knihy
Předpokládám, že jde o běžný způsob publikace v humanitních vědách, právu a podobně, kde několik málo desítek stránek nestačí na kompletní zpracování myšlenky a navíc je “potřeba” důkladně protřást všechny souvislosti. Mičurinovský přístup strávit půl života zkoumáním něčeho a pak o tom napsat knihu byl možný před 100 lety; v technických a přírodních vědách je to dnes ale prakticky nemožné. Za prvé, pokud budete bádat na plný úvazek bez nějakého výsledku (= publikace, patentu,…) několik let, tak vás vyhodí. Za druhé, jakkoliv mohou někteří diskutéři argumentovat, že vývoj se v posledních desetiletích zpomalil, opak je pravdou; a tak to, co jsem vyzkoumal před pár lety, už bude dávno překonané v době kdy o tom napíšu knihu.
V praxi to tedy vypadá tak, že knihy (alespoň ty co stojí za přečtení odborníkem) píšou esa oboru kteří již mají na to téma spoustu publikací a knihy jsou postaveny na už publikovaných faktech. Samozřejmě i od jiných autorů, kniha má shrnovat kompletní znalost o nějakém (pod)oboru. Knihy jsou pak spíš něčím jako učebnicemi pro profesionály, například pro doktorandy nebo jako úvod a rozcestník pro vědce bádající mimo svůj tradiční (pod)obor.
2.5 Popularizační články
Před nějakou dobou tu v diskusi zazněl názor: “platí, že všechny přelomové vědecké objevy první uveřejní většinou bulvár nebo lidová média”. Nechci tu provádět korespondenci přes články, tak to jen označím za, s prominutím, totální píčovinu a překročím to. Popularizační články mají svůj smysl, například přilákání studentů (v případě univerzit), upozornění odborné (ale nevýzkumné, případně z jiného oboru) veřejnosti na zajímavé výsledky pro navázání spolupráce s průmyslem nebo v nějakém mezioborovém výzkumu, nebo obyčejné informování a pobavení inteligentní laické veřejnosti a zvýšení povědomí o oboru. Většinou ale napíšeme jen “press release” který se vystaví někde na webu univerzity, kde to obcházejí běžní novináři kteří na základě toho napíšou články, případně nás kontaktují pro další spolupráci. Rozhodně ale není pravda, že by vědci psali do “lidových médií” články protože jsou moc přelomové pro tradiční odborné časopisy.
2.6 Patenty
Tak trochu kontroverzní téma. Chápu, že pokud firma financuje nějaký výzkum, tak z něj chce mít nějaký ten peníz zpátky. A docela to dává smysl v technických oborech (například ve výzkumu materiálů kde pracuje moje přítelkyně a pro firmu která ji sponzoruje pár patentů “zařídila”). Ovšem například softwarové patenty jsou čiré zlo a výzkum v medicíně bych se taky odvážil označit za kontroverzní. Nechci ale zacházet do téhle debaty, obzvlášť protože jako Pirát mám trochu vyhraněný názor. Jen tedy řeknu, že pokud někde objevím (čtu, cituji,…) patent, tak je to téměř výhradně z USA z 80. a začátku 90. let. Hodně firem dělá (i základní!) výzkum v mém oboru (například Google, Microsoft, Adobe, Disney, Samsung,…) a vidím od nich články na konferencích a žádné patenty.
3. Od nápadu ke článku
Jak to tedy funguje? Na začátku někdo dostane nápad, typicky (alespoň v technických vědách) “tohle by šlo udělat lépe a já myslím že by to šlo takhle”. Takže to zkusím, v mém případě napíšu prototyp nějakého softwaru, po cestě popíšu pár papírů rovnicemi, pak to pustím na nějaká vstupní data a ono to nefunguje. Zjistím proč, jestli tam prostě nemám bug, nezanedbal jsem nějaký faktor, udělal jsem chybu v rovnicích. Zkouším, hledám, testuji. Může se stát, že to prostě nefunguje, nápad byl špatný, teorie neplatí. A nebo to začne fungovat. Pak musím provést srovnání se state-of-the-art, nebo-li s výsledky výzkumu jinde, případně s mými vlastními staršími výsledky. Pokud jsou mé výsledky lepší, můžu začít psát. Stejně tak pokud jsou zhruba srovnatelné, ale pokrývají lépe nějaký specifický podproblém. Pokud nejsou, pokusím se zlepšit metodu.
Dalším krokem je výběr konference/časopisu. Vždycky se snažíme poslat článek do co nejlepších. Pokud dokážeme nějaký problém vyřešit nejlepším (na světě, doslova) způsobem, případně jsme objevili nový problém který má potenciál zajímat komunitu, míříme na top konference nebo do top časopisů oboru. Pak jsou ještě superprestižní mezioborové časopisy (Nature, Science), ty ale vyžadují hodně převratný výzkum s přesahem do jiných oborů a takový článek je událost která se stává jednou za život… Pokud je článek slabší, např. přináší řešení které je zajímavé a inovativní ale nemá tak dobré experimentální výsledky, zamíříme s ním do “druhé řady”. Jsou pak i třetí a další řady, ale tam článek obvykle zapadne a nikdo ho nikdy nebude číst, takže posílat ho tam je ztráta času. Ovšem, pokud jste hodnoceni za kvantitu, je situace jiná; více o tom v Sekci 6.
A jde se psát. Pokud máte všechny podklady, výpočty, experimentální data, atd., trvá to několik týdnů. Pokud vám uzávěrka dýchá na záda, dá se to stihnout za několik nocí s dostatkem kofeinu. Konference mají uzávěrky pevně dané, maximálně se prodlužují o pár dní až týden. Čím lepší konference, tím menší šance na prodloužení. Podobně je to u “special issues” časopisů, běžné časopisecké články je možné posílat kdykoliv.
Článek pošlete (= nahrajete pdf do online systému) a čekáte. Měsíc, dva, tři, i víc, čím lepší konference/časopis, tím déle. Mezitím ho recenzenti čtou a píšou na něj recenzi. Recenzenti jsou obvykle 2-4, jsou anonymní a dělají to zadarmo. Někdy jsou i autoři anonymizováni, aby se neprojevovaly případné osobní spory. Recenze může být různě dlouhá, od zaškrtnutí pěti políček ve formuláři a jeden krátký odstavec zhodnocení až po mnohastránkové elaboráty u top časopisů. Součástí recenze je i doporučení, co s článkem; editor se pak rozhoduje na základě těchto doporučení. V případě některých konferencí je toto rozhodnutí konečné, u jiných (také u “special issues”) mohou autoři článek upravit na základě kritiky recenzentů a ti své rozhodnutí přehodnotit. Doporučení jsou obvykle Přijmout/Odmítnout/Nerozhodný (občas i mezistupně, např. tzv. Weak Accept). U časopisů je to pak složitější, obvyklé možnosti jsou (od každého recenzenta) Přijmout bez výhrad (výjimečné), Přijmout s výhradami (článek pak zkontroluje už jen editor), Vrátit k přepracování (recenzenti pak napíšou nové recenze) a nebo Odmítnout. Vracení k přepracování může iterovat i několikrát, dokud nebudou recenzenti spokojení nebo článek neodmítnou.
Články jsou kontrolovány na spoustu aspektů. Nedostatky v kterémkoliv můžou vést k “navrácení k přepracování” nebo rovnou k zamítnutí. Uvádím příklad aspektů které jsem hodnotil v jedné z posledních recenzí které jsem sám psal, dovolím si nepřekládat: technical correctness, novelty/originality, reference to prior work, quality of art, quality of experimental results, appropriateness to journal, importance to the field, organisation and clarity, length. Jsem toho názoru že vědecká práce učí člověka pokoře; nejen že se musí celý život učit a přijímat rady od jiných (často o generaci mladších) vědců, ale také jsou mu neustále vytýkány chyby v článcích a tyto odmítány nebo vraceny k předělání.
Pokud ale konečně dostanete zelenou a uvidíte v systému magické slovo “Accept”, je to doma. Ještě možná budete muset přepsat některé části článku a případně doplnit experimenty, pokud jste to slíbili recenzentům. Jinak je to už ale jen papírování. Někdo vám copyright nechá, někomu musíte podepsat předání. Nahrajete finální PDF nebo zdrojové texty a obrázky k přesázení, a máte publikaci. Pochlubíte se na webu, ve zprávě nadřízeným, zanesete to do firemního/univerzitního informačního systému a pokud by to mohlo zajímat širší veřejnost tak napíšete i press release.
4. Citace
Cokoliv napíšete v článku, musí být podložené. Výpočtem, experimentem, logickou dedukcí,… Pokud stavíte teorii na předpokladu, který není potvrzený, musíte to výslovně uvést. Není ale možné v článku psát úplně všechno. Stavíte na nějaké matematické/fyzikální teorii? Nebo rozvádíte předchozí práci, ať už vlastní nebo cizí? Článek je (měl by být) součástí ekosystému, nevisí ve vakuu. Tvrzení může být proto podložené také citací. Citací se myslí odkaz na předchozí práci (článek, knihu,…), nikoliv doslovná citace. Ta je běžnější v humanitních vědách, ale stále jde o krátký výtah, ne vykopírovaný odstavec. Příklady z článku, který zrovna čtu, jsou: “This led to semidense methods [6][7] that, while applying similar techniques as fully dense, do…” nebo “Edge based SLAM has been reported by Eade and Drummond [4] and Klein and Murray [10].” Na konci článku pak je seznam použitých zdrojů (referencí), unikátně identifikovatelných.
Z úhlu pohledu citovaného autora jde o něco jako potvrzení, že někdo použil moji práci, staví na ní, považuje ji za užitečnou. Počet citací je tak vcelku použitelným ukazatelem přínosu toho kterého autora (alespoň v rámci srovnání v jednom oboru). Dalším využívaným scientometrickým ukazatelem pak je Hirschův index (také h-index), používající právě počty citací.
5. Platba za publikace, Open Access a predátoři
Standardní business model odborných vydavatelství je celkem jednoduchý. Autoři žádné honoráře nedostávají, většinou ale ani neplatí (občas poplatky jako za nadstandardní délku článku a podobně). Editoři něco dostanou, ale práce na plný úvazek to není. Recenzenti jsou dobrovolníci. Hlavní náklady jsou tedy se sazbou, tiskem a distribucí časopisu. Člověk si pak může objednat buď jednotlivý článek (jednotky až desítky dolarů), výtisk (stovky), případně roční předplatné (tisíce, to mívají typicky univerzitní knihovny). Cena se samozřejmě liší podle toho jestli chcete papírovou nebo elektronickou verzi.
To se mnoha vědcům nelíbí, samozřejmě. Limituje to přístup k vědění, rozvoj lidstva obecně, není možné dělat výzkum bez článků a k těm se nedostanete bez solidního kapitálu. S rozvojem Internetu tedy začala vznikat online vydavatelství založená na principu Open Access. Bez tisku jsou minimalizovány náklady, dokonce je možné distribuovat i LaTeXové nebo Wordové šablony a tím ušetřit i práci (a tím počet) typografů. Náklady zaplatí sponzoři, nebo autoři příspěvkem, a články budou na internetu zadarmo. Tato (v té době naprosto seriózní) vydavatelství začala být celkem úspěšná a kamenná vydavatelství se k tomu přidala. Za poplatek (obvykle US$1000-2000) bude váš článek po zveřejnění přístupný v elektronické formě zadarmo pro všechny.
Další, kdo se na tuto vlnu chytil, jsou tzv. predátoři (predatory open access publishing). Kompletní diskuze by zabrala dlouho, zájemce zkusím přesměrovat na Nature, Antipredátora nebo třeba metodiku Masarykovy Univerzity. Ve zkratce jde o to, že začala vznikat online vydavatelství která neprovádí prakticky žádnou kontrolu článků, pouze provozují online systém a kasírují peníze. A pokud jsou vědci hodnoceni pouze za kvantitu (více viz níže), pak se snadno stane, že dostanou za (jakýkoliv) článek víc peněz než těch několik stovek až tisíc dolarů za publikační poplatek. A tím vzniká krásná symbióza, kdy “vědci” vysávají grantové agentury a předstírají že bádají, a predátoři inkasují za falešné publikace a předstírají že publikují.
6. Hodnocení vědy
Co s tím? Zavést hodnocení vědy založené na kvalitě a ne na kvantitě, samozřejmě. To ale není úplně snadné, ze dvou důvodů. První je celkem očekávatelný – lidé sedící na penězích proudících do vědy z (zdaleka nejen státních) grantů se jich nechtějí vzdát a budou dělat cokoliv aby se opravdovému hodnocení vyhnuli. Druhý je problematičtější a jestě pragmatičtější – nikdo neví jak.
Zmiňoval jsem se v Sekci 4 o dvou scientometrických ukazatelích. Oba slušným způsobem mohou měřit výkonnost výzkumníka. Problém ale je, že jak celkový počet citací, tak h-index jsou nesrovnatelné mezi obory (i v podoborech Computer Science se to dost liší [a]). Navíc existují praktiky jak lze oba ukazatele nafouknout a věřte mi, že nejen čeští “vědci” o nich vědí.
A tak vznikají různé metodiky hodnocení vědy. V Česku je to nechvalně proslulý RIV systém, také známý jako kafemlejnek. Funguje tak, že za jakýkoliv výsledek (kniha, článek, patent, plemeno/odrůda,…) dostane universita, ústav, firma,… nějaký počet bodů. A ty se prostě sečtou a podle nich se peníze rozdělí. Že to není úplně košer je jasné na první pohled. Za udělený český patent dostanete 50 bodů, stejně jako za dvě nová plemena skotu nebo za sociologický článek ve slabším časopise [b]. V posledních letech se to trochu zlepšuje, například se začíná mluvit o rozdílnosti oborů, nebo kategorie “Odborná kniha” už není za paušální počet bodů ale podléhá odbornému posouzení. Tady ale zase narážíme na problém, že ve většině oborů je v Česku vědecká komunita tak malá, že se všichni navzájem znají. A chtít po české vládě zhodnocení ze zahraničí je tak trochu naivní (ale přesto nutné). Obzvlášť když někteří “vědci” stále píší česky…
Tento systém bodování se pak sesypává dolů na katedry/oddělení a nakonec i jednotlivé výzkumníky. Někde RIV systém přebírají kompletně, někde jeho pomocí rozdělují jen část peněz, někde mají systém vlastní. A pak jsou místa, kde nějaké hodnocení vědy prostě vzdali a “každý dělá asi tak stejně”. Sám nevím, co je horší.
V Británii to funguje naprosto opačně. V jejich REF systému je prioritou kvalita před kvantitou, sledovaných je tedy pouze několik nejlepších výsledků akademika za posledních X let (tuším že 5, ale nejsem si jistý). Ty jsou pak hodnoceny panelem odborníků a souhrnné výsledky ovlivňují financování univerzity. Systém zdaleka není perfektní, má spoustu chyb, ale alespoň je postavený na rozumné ideji. Na mé univerzitě to pak jde na úroveň jednotlivého akademika tím způsobem, že jediné co někoho zajímá, je počet článků v horním kvartilu časopisů v oboru. Máme seznam časopisů (které opravdu jsou špičkové a není lehké tam něco publikovat), kam máme doporučeno publikovat a pokud napíšeme deset článků za rok do nějakých tam dole na dně, děláme to zadarmo. Ani to ale není dokonalé, viz třeba zmiňovaný problém s konferencemi.
7. Závěr
Často se říká, jak podfinancovaná česká věda je. V porovnání se “západem” to tak je. Větší problém ale je neefektivní rozdělování peněz. V Česku jsou špičková pracoviště na světové úrovni. Ale také tu najdete takové co předstírají vědu a zdatně dojí systém. A bohužel často mají politický vliv, pomocí kterého udržují systém dojitelný. Pak snadno člověk dostane pocit, že takoví jsou všichni vědci. Ale nebojte, nejsou.
Co dodat? I kdyby to mělo poučit jen jediného Internetového “chytráka”… vždyť to znáte…
Reference
[a] J. Wainer, M. Eckmann, S. Goldenstein, and A. Rocha. How Productivity and Impact Differ Across Computer Science Subareas. Communications of the ACM, 2013.
[b] Úřad vlády ČR. Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015). Č.j.: 1417/2013-RVV, 2013.
(167x známkováno, průměr: 1,48 z 5)