Siete nel dominio
You are in domain
??
:
il documento appare inizialmente nella lingua di default (
document appears initially in default language (
??
)     
(lingua di default prescelta in base al vs. dominio)
(default language chosen at load time for your domain)
Questo e' un documento multilingue: cambia lingua
This is a multilingual document: change language
    
placeholder

Bibliometria fai da te

(ancora su ASN nel settore disciplinare dell'astrofisica)



Lucio Chiappetti - IASF Milano (INAF) - aprile 2014


Do-It-Yourself bibliometry

(again about ASN in the astrophysics disciplinary sector)



Lucio Chiappetti - IASF Milano (INAF) - April 2014


 

Introduzione

Dopo le statistiche sulla Abilitazione Scientifica Nazionale (ASN) ho pensato di fare qualche altra prova, principalmente per vedere se ci fossero dei bias a sfavore dell'eta' o altre peculiarita' che potessere venire confermate.

Da un lato la procedura della ASN e' stata ampiamente criticata sia su forum specialistici quali ROARS (per giuste ragioni) sia nella stampa (con molta piu' confusione e pressapochismo e perfino gratuita mala fede), dall'altro la relativa uniformita' del settore disciplinare dell'astrofisica pare indicare che i risultati della ASN in questo particolare settore sian sostanzialmente corretti, per quanto parziali.
Si potrebbero sollevare le sequenti questioni:

 

Strumenti e metodi

Ho preparato un sistema "quick and dirty" (non cosi' veloce e abbastanza sporco) per calcolare gli indicatori ASN e qualche altro semplice indicatore bibliometrici in funzione del tempo a partire dall'ADS. La procedura e' la seguente: I parametri bibliometrici calcolati dalla procedura per ogni anno sono: Si noti che la procedura di interrogazione di ADS (in particolare la raccolta delle citazioni per articolo) puo' richiedere parecchio tempo. Quindi non la ho fatta girare sistematicamente per un campione ampio di molte persone, ma solo per un campione piccolo e arbitrario, tanto per metterla alla prova.  

Risultati

Ho prodotto dei grafici degli 8 indicatori elencati sopra in funzione dell'eta' accademica per una lista abbastanza casuale di persone, raggruppate in base a delle scelte personali piuttosto arbitrarie.
Ogni curva corrisponde a una persona (contrassegnata da un numero di sequenza). Non ho indagati in dettaglio su chi e' associato a quale curva, e in ogni caso non renderei pubblica tale informazione in quanto non rilevante. Faccio eccezione per la curva nera nel primo grafico, che corrisponde all'autore di questa pagina.

Le curve usano un codice di colore come segue:

I grafici possono essere recuperati come file PostScript dai link qui sotto. Ogni grafico contiene 8 riquadri per gli 8 indicatori. Si suggerisce di visualizzarli ad alto ingrandimento (p.es. gv con zoom 8) in modo da guardare a ogni riquadro con sufficiente dettaglio. Segue un breve commento per ogni grafico.

Ho prodotto anche grafici simili, ma con l'anno di calendario invece dell'eta' accademica sull'asse X. Eccoli: In generale si puo' osservare una tendenza graduale e regolare per chi e' gia' inquadrato nelle fascie 1 o 2 (inclusi i commissari e gli emeriti) o la maggior parte degli abilitati alla prima fascia. Tuttavia alcuni tassi di pubblicazione (p.es. da parte di giovani candidati alla seconda fascia, nel personale locale e sparsamente altrove) paiono avere un incremento ripido negli ultimissimi anni. L'ultimo grafico per il personale di fascia iniziale mostra alcune persone che hanno iniziato a pubblicare molto presto come altri con un tasso costante molto basso.  

Conclusioni

E' difficile trarre conclusioni, a parte quella ovvia che non e' possible calcolare validi parametri bibliometrici per una persona automaticamente dal suo nome, senza che l'autore convalidi che le pubblicazioni siano sue, per evitare omonimie e l'errato calcolo della eta' accademica.

Da una parte si pui' anche dire che non si vede nulla di ovviamente sbagliato nella ASN (nel senso che nessuno "scarso produttore" e' stato abilitato, ma dall'altra si puo' dire che c'e' un generale sottoinquadramento del personale corrente (INAF e Universita'), dato che molti mostrano i piu' elevati valori di tutti i parametri sensati.

Non sono particolarmente evidenti pregiudizi a sfavore di chi ha una eta' accademica maggiore (p.es. nel senso di persone che erano sopra le famigerate mediane qualche anno fa e ora sono al di sotto).

Forse c'e' una tendenza che i piu' giovani sembrano pubblicare di piu', ma non e' chiaro se dipenda da altri motivi, dalle tematiche di ricerca (non e' possible fare un breakdown per macro-area in questa statistica), dalle pubblicazioni collettive con molti autori tipiche dei grossi progetti, o da un aumento di pubblicazioni brevi ma specializzate, o da qualcos'altro.

 

Introduction

After the statistics about the National Scientific Habilitation (ASN) I decided to run a few more tests, mainly to see if there were age biases or other peculiarities which could be confirmed.

On one hand the Habilitation procedure has been widely criticized both in specialized forums like ROARS (for sound reasons) and in the press (with much more confusion and approximation and even gratuitous malevolent bad press), on the other hand the relative uniformity of the astrophysics disciplinary sector seems to indicate the results of ASN in this particular sector are substantially sound, though partial.
One could raise the following issues:

 

Tools and methods

I devised a quick and dirty (not so quick and somewhat dirty) method to compute the ASN indicators and some other simple bibliometric indicators as a function of time using the ADS. The procedure is as follows: The bibliometric parameters computed by the stored procedure for each year are: I note that the ADS interrogation procedure (in particular getting the citations per paper) could be a lenghty process. Therefore I have not run it systematically for a large comprehensive sample of people, but only for a small arbitrary sample, just to probe it.  

Results

I have produced plots of the 8 indicators listed above as a function of academic age for a somewhat random list of people, grouped according to a somewhat arbitrary personal choice.
Each curve correspond to a person (tagged by a sequence number). I haven't looked in detail to which person is associated to which curve, and anyhow I won't disclose such information as it is not relevant. The only exception is the black curve in the first plot, which corresponds to the author of the present note.

The curves are colour coded according to the following code:

The plots can be retrieved as PostScript files from the following links. Each of them contains 8 frames for the 8 indicators. It is suggested to view them with a large magnification (e.g. gv with magnification 8) in order to look at each frame in detail. I give a brief comment to each plot

I have also produced similar plots, but with the calendar year instead of the academic age on the X-axis. Here they are: In general one can observe that a more gradual regular trend is present for people already in grades 1 or 2 (including board members and emeriti) or most habilitated to grade 1. However some publication rates (e.g. by younger peoples in the applicants to grade 2, in the local staff and sparsely elsewhere) seem to have a steep increase in the last few years. The last plot for initial grade staff shows some "early big publishers" as well as some people with a constant very low rate.  

Conclusion

It is difficult to draw conclusions, besides the obvious one that one cannot compute bibliometric parameters for a named person automatically, without the validation of the publications by the authors, to avoid homonimies and wrong computation of academic age.

One can also say on one hand that there is possibly nothing obviously wrong in ASN (in the sense no "poor producers" were habilitated), on the other hand that there is a general under-classification of current (INAF and University) staff, since many persons show highest values of all sensible parameters.

Biases against people with large academic ages are not particularly evident (e.g. in the sense of people who were above the dreadful medians a few years ago and now are below).

Maybe there is a trend that younger people seem to publish more, and it is not clear whether it may depend on their topics (also there is no breakdown by macro-areas in the present statistics), on large collective project publications, or on an increase of short specialized publications, or something else.

































































sax.iasf-milano.inaf.it/~lucio/WWW/Opinions/diybiblio.html :: original creation 2014 mag 07 13:50:14 CEST :: last edit 2014 May 07 13:50:14 CEST