Metodologia de realizare a clasamentului pe domenii al universităţilor din România

Clasamentele sunt realizate pe baza articolelor ştiinţifice publicate de personalul universităţilor în reviste ştiinţifice recunoscute pe plan internaţional, indexate de ISI Web of Science (proprietate a Thomson Reuters). ISI este instituţia cea mai recunoscută pe plan internaţional în domeniul monitorizării şi recenzării publicaţiilor ştiinţifice. Acest indicator este folosit şi în prestigioase clasamente internaţionale ale universităţilor, cum ar fi clasamentul Shanghai.

Au fost extrase din baza de date ISI toate articolele cu autori din România indexate în anii 2006-2010, iar articolele au fost repartizate apoi pe instituţii, pe baza adreselor autorilor indicate de aceştia în articole. Au fost luate în considerare numai publicaţiile de tip articol, care prezintă rezultate ştiinţifice originale, nu şi alte publicaţii cum ar fi scrisori, recenzii, etc. Topul dintr-un anumit an a fost realizat pe baza articolelor indexate în anul anterior, de exemplu topul pe 2011 a fost realizat pe baza articolelor indexate în 2010.

A fost extras scorul de influenţă (article influence score) al revistelor ştiinţifice în care au apărut aceste articole, din ISI Journal Citation Reports 2009, Science Edition şi Social Sciences Edition. Am calculat apoi scorul relativ de influenţă (normalizat la domeniu; prescurtat, SRI) al revistelor conform metodologiei utilizată de Consiliul Naţional al Cercetării Ştiinţifice. Pe scurt, scorul relativ de influenţă al unei reviste este scorul de influenţă al revistei raportat la mediana scorurilor de influenţă ale revistelor din acelaşi domeniu. În cazul în care o revistă este încadrată de ISI în mai multe domenii, se ia în considerare varianta cea mai favorabilă pentru acea revistă. Calculul scorului relativ de influenţă are drept scop eliminarea diferenţelor intrinseci dintre domenii.

Am calculat apoi ponderea contribuţiei fiecărei instituţii la realizarea fiecărui articol. În cazurile în care ISI nu furnizează informaţii despre afilierea fiecărui autor la o anumită instituţie, am considerat că fiecare din instituţiile care au contribuit la realizarea articolului au avut ponderi egale. De exemplu, dacă un articol a fost realizat de 5 instituţii, dintre care şi universitatea X, am considerat că universitatea X a avut o contribuţie de 1/5 la realizarea articolului. În cazurile în care ISI furnizează informaţii despre afilierea fiecărui autor la o anumită instituţie, am considerat contribuţia unei anumite instituţii ca fiind proporţională cu numărul de autori ai articolului din acea instituţie. De exemplu, dacă un articol a avut în total 6 autori din care 2 de la universitatea X, am considerat că universitatea X a avut o contribuţie de 2/6 la acel articol.

Pentru fiecare articol, SRI individual al fiecărei instituţii (prescurtat, SRII) este SRI al acelui articol multiplicat cu ponderea contribuţiei fiecărei instituţii la realizarea acelui articol.

Pentru calcului SRI cumulat pentru fiecare instituţie, un articol cu autori de la mai multe instituţii a fost considerat ca un articol întreg pentru fiecare instituţie.

Repartizarea pe domenii ştiinţifice a articolelor s-a făcut pe baza revistei în care au fost publicate. Repartizarea revistelor pe domenii ştiinţifice a fost făcută de ISI. Unele reviste sunt considerate de ISI ca aparţinând mai multor domenii, şi un articol publicat în aceste reviste a fost considerat ca un articol întreg pentru fiecare din domeniile de care aparţine revista. Unele domenii au fost grupate împreună, astfel încât lista domeniilor folosită în clasament să fie cât mai apropiată de domeniile în care se pot organiza în România studii universitare de licenţă, conform legislaţiei actuale.

În clasamentul pe domenii, ordonarea a fost făcută pe baza SRII, care reflectă performanţa ştiinţifică totală a fiecărei universităţi într-un anumit domeniu. Pe de altă parte, imposibilitatea raportării la resurse (cum ar fi numărul de persoane) a performanţei duce la favorizarea, în acest clasament, a universităţilor mari în detrimentul celor mici. Performanţa pe domenii nu poate fi raportată la numărul de persoane care lucrează în acel domeniu dintr-o universitate, deoarece nu există informaţii despre acest număr de persoane. Pot fi cazuri în care persoanele dintr-o universitate care au rezultate într-un anumit domeniu ştiinţific să aparţină de mai multe facultăţi.

Ca orice clasament, şi acest clasament are anumite limite. Clasamentul evaluează doar performanţa ştiinţifică a cadrelor didactice, nu şi alţi factori care demonstrează calitatea actului educaţional, cum ar fi procentul de studenţi care sunt angajaţi imediat după absolvire, sau factori care pot influenţa alegerea universităţii, cum ar fi baza materială, numărul de studenţi pe cadru didactic, existenţa căminelor pentru studenţi, gradul de promovabilitate, etc. Din păcate pentru mulţi din indicatorii relevanţi nu există date statistice de încredere care să poată fi luate în calcul în realizarea unui clasament.

Despre ISI şi scorul de influenţă

În lume există mai mult de 100.000 de reviste ştiinţifice. Se ştie însă că doar o mică parte din acestea sunt relevante pentru comunitatea ştiinţifică internaţională: marea majoritate a celor mai importante rezultate ştiinţifice sunt cuprinse într-un număr foarte mic de reviste. De exemplu, în 1994, doar 100 de reviste cuprindeau 44% din articolele citate în 3.400 de reviste, şi 2.000 de reviste cuprindeau 95% din articolele citate. Citările reflectă într-o măsură rezonabilă valoarea ştiinţifică a articolelor.

Începând cu 1961, Institute of Scientific Information din Philadelphia, SUA (actualmente Thomson ISI) a început monitorizarea principalelor reviste ştiinţifice internaţionale, indexând atât articolele ştiinţifice, cât şi citările din articole. ISI selectează în mod continuu revistele ce sunt incluse  în baza sa de date, în funcţie de numărul de citări al articolelor din aceste reviste. In plus, ISI ierarhizează revistele ştiinţifice indexate în funcţie de scorul de influenţă, o mărime calculată pe baza citărilor pe care le primesc articolele dintr-o revistă ştiinţifică, ponderate cu calitatea revistelor care citează aceste article. Actualmente, ISI indexează aproximativ 13.000 de reviste ştiinţifice, acoperind aproape toate domeniile ştiinţifice, inclusiv ştiinţele sociale şi umaniste. În general, se consideră că baza de date ISI  reprezintă satisfăcător fluxul principal de publicaţii ştiinţifice. De aceea, datele provenite de la ISI sunt folosite în majoritatea analizelor şi studiilor de politică a ştiinţei. Cel mai sugestiv exemplu este raportul "Science and Engineering Indicators" pe care National Science Board, organism guvernamental al SUA, îl prezintă preşedintelui Statelor Unite ale Americii, la intervale de doi ani. Datele ISI sunt folosite şi în clasamentul Shanghai al universităţilor din întreaga lume.

Mai multe informaţii despre ISI se pot afla la http://www.isinet.com/ .

Despre asociaţia Ad Astra

Asociaţia Ad Astra cuprinde cercetători români din întreaga lume şi are drept scop sprijinirea cercetării româneşti. Asociaţia s-a înfiinţat în 2002 şi are la ora actuală 75 de membri, dintre care unii lucrează la universităţi sau institute prestigioase din străinătate sau au rezultate ştiinţifice publicate în prestigioasele reviste Science şi Nature. Asociaţia administrează un portal al cercetătorilor români şi a realizat mai multe studii referitoare la starea cercetării româneşti, migraţia cercetătorilor români, precum şi o serie de propuneri pentru reforma sistemului educaţiei şi cercetării din România. Mai multe informaţii despre asociaţie pot fi obţinute pe site-ul web al asociaţiei, http://www.ad-astra.ro.

Raspunsuri la întrebări adresate frecvent (FAQ)

De ce articolul meu care l-am publicat recent nu apare în aceste liste?
Motivele pentru care articolul nu este în baza noastră de date pot fi:
- Articolul, chiar daca a fost publicat, nu a fost şi indexat de ISI (adică nu a fost introdus în baza lor de date). Aceasta se poate datora apariţiei foarte recente a articolului, apariţiei cu întârziere a revistei, procesării târzii de către ISI, etc. În lista articolelor indexate într-un anumit an, lipsa unor articole publicate în acel an este compensată, statistic, de articole publicate în anul anterior.
- Articolul nu este publicat în una din revistele luate în considerare, sau nu este o publicaţie de tip articol, review sau scrisoare (ci rezumat, material editorial, etc.). În cartea albă am luat în considerare publicaţiile de tip articol, review şi scrisoare, în timp ce în topul universităţilor am luat în considerare doar publicaţiile de tip articol. Am luat în considerare numai publicaţiile indexate în Science Citation Index Expanded, Social Sciences Citation Index şi Arts & Humanities Citation Index. Verificaţi în listele de reviste corespunzătoare daca revista în care aţi publicat se regăseşte în aceste indexuri.
- Articolul nu menţionează afilierea dvs. la o instituţie din România (de exemplu, aţi lucrat în străinătate o perioadă scurtă şi articolul apare cu adresa de acolo).

Puteţi introduce în baza de date de pe site câteva articole ISI care nu apar acum pe site?
Datele de pe site sunt preluate direct din baza de date ISI, şi nu dorim să introducem alte articole decât cele existente în baza de date ISI. Dacă articolul dvs. este publicat într-o revistă ISI, posibilele motive pentru care el nu apare în listele noastre sunt descrise în răspunsul de mai sus.

De ce în cartea albă apar mai multe articole pentru o universitate, decât în topul universităţilor?
În cartea albă am luat în considerare publicaţiile de tip articol, review şi scrisoare, în timp ce în topul universităţilor am luat în considerare doar publicaţiile de tip articol, aşa cum procedează şi autorii topului Shanghai.

Articolul meu a fost publicat într-o revistă inclusă în ISI Master Journal List, de ce nu apare pe site?
Master Journal List conţine reviste indexate de toate produsele ISI. Noi am luat în considerare doar revistele şi publicaţiile indexate în ISI Science Citation Index Expanded, ISI Social Sciences Citation Index şi ISI Arts & Humanities Citation Index.

De ce în lista articolelor dintr-un an apar şi articole publicate în alt an?
Există o distincţie între anul indexării de către ISI şi anul publicării articolului. ISI poate indexa un articol publicat la sfârşitul unui an în anul următor, de exemplu. Topul universităţilor este realizat pe baza articolelor indexate (nu publicate) într-un anumit an, pentru ca datele să poată fi verificate de oricine doreşte. În cazul în care am fi folosit anul publicării, exista posibilitatea ca ulterior realizării topului ISI să indexeze noi articole publicate în anul precedent. În cartea albă, puteţi selecţiona articolele după anul indexării sau anul publicării.

De ce nu luaţi în considerare şi ISI Proceedings?
Selecţia publicaţiilor indexate în ISI Proceedings nu este la fel de riguroasă ca şi în cazul indexurilor luate în considerare. În particular, există publicaţii româneşti indexate în ISI Proceedings care conţin articole fără reală relevanţă ştiinţifică, şi din această cauză considerarea publicaţiilor din ISI Proceedings ar biasa analizele în favoarea unor instituţii fără performanţe ştiinţifice reale. Pe de altă parte, şi clasamentul Shanghai şi şi alte analize internaţionale sunt făcute doar pe baza articolelor din indexurile luate în considerare de noi.

De ce nu luaţi în considerare şi cărţile?
În general, cărţile nu prezintă rezultate originale, ci sinteze.

De ce un articol apare la domeniul X când de fapt este din domeniul Y?
Motivul este că ISI a considerat că revista în care a fost publicat articolul aparţine de domeniul X. În realitate, articolul (sau chiar revista) poate avea o relevanţă mai mare pentru domeniul Y decât pentru domeniul X. Nicio categorizare nu este perfectă, şi necesitatea procesării automate a datelor obligă folosirea de astfel de categorizări.

De ce pe anumite pagini se menţionează că datele sunt incomplete?
Baza de date conţine toate articolele cu autori români indexate de ISI Web of Science între 2002-2011 inclusiv. Numai articolele indexate în 2004-2006 sunt însă repartizate complet pe instituţii. În cazul articolelor din ani anteriori, o parte din articole nu este repartizată pe instituţii (aproximativ 4% din articole, care deci nu apar în listele pe instituţii). Pe de altă parte, se poate spune că este completă numai lista articolelor indexate într-un anumit an; lista articolelor publicate într-un anumit an, indexate de ISI, poate varia permanent deoarece ISI poate decide oricând indexarea unor articole publicate în ultimii câţiva ani, de exemplu prin indexarea unei noi reviste, sau prin indexarea cu întârziere a articolelor dintr-o revistă.