I test sulle competenze generaliste dei laureati italiani

ANVUR
Le competenze dei laureandi italiani nella sperimentazione TECO
Roma, 11 marzo 2014
I test sulle competenze generaliste dei laureati italiani: la posizione degli studenti
Emanuela Reale1
Istituto di ricerca sull’Impresa e lo Sviluppo CERIS-CNR
Via dei Taurini, 19
00185 Roma
[email protected]
Abstract
Il paper esplora come gli studenti giudicano le loro competenze generaliste, e il contributo che esse hanno
ricevuto dal CDL frequentato. Le domande che guidano l’analisi sono: quali fattori concorrono a creare
nello studente un apprezzamento positivo del proprio CDL con riferimento alla trasmissione di competenze
generaliste? Come si differenziano i profili degli studenti che valutano positivamente la formazione del
proprio CDL, da quelli che hanno invece una valutazione negativa? Quali sono le correlazioni fra i suddetti
giudizi, positivi o negativi, e i risultati dei test TECO? I risultati mostrano che la probabilità che un laureando
esprima un giudizio positivo appare collegata solo ad alcuni CDL, alla frequenza regolare dei corsi e alla
condizione di studente fuori sede. Sulla valutazione degli studenti, positiva o negativa, non sembrano
essere rilevanti fattori di carattere personale, di merito personale, e fattori ambientali. Non emerge una
relazione fra la valutazione positiva degli studenti rispetto ai propri CDL ed effettiva performance nei test
TECO con l’eccezione dei CDL di Scienze matematiche e Scienze e tecnologie fisiche.
1
Un sentito ringraziamento a Fiorella Kostoris per gli utili commenti, al Dott. Antonio Zinilli, dottorando presso il CERIS CNR per il
supporto fornito nelle elaborazioni statistiche, a Irene Mazzotta e Alberto Ciolfi dell’ANVUR per la fornitura dei dati. Il paper
esprime le opinioni dell’autrice e non rappresenta il punto di vista dell’ANVUR.
1
Le competenze trasversali di tipo generalista sono indicate nella letteratura internazionale come elemento
importante per la formazione complessiva del laureato e per il suo proficuo inserimento nel mercato del
lavoro. Le competenze generaliste si accumulano durante tutto il percorso formativo, compreso quello
universitario; esse quindi rivestono un particolare interesse, poiché il loro possesso garantisce flessibilità e
adattamento degli individui ai cambiamenti che intervengono nella domanda espressa e tacita del mercato
del lavoro, nonché capacità costante di apprendimento di saperi diversi che possono essere utili nella vita
professionale e lavorativa.
Le competenze trasversali sono caratterizzate dal fatto di non essere oggetto di uno specifico
insegnamento durante il percorso formativo; l’abilità a pensare criticamente, a comunicare le proprie
conoscenze, e ad apprendere nuove conoscenze prodotte fanno parte di quel bagaglio intangibile che
ciascun docente trasmette attraverso l’insegnamento della propria materia. Poiché si tratta di capacità che
non formano oggetto di uno specifico insegnamento, esse non sono monitorate e non sono valutate, se
non, appunto, nell’ambito di pratiche di rilevazione specificamente destinate a questo scopo.
Dette pratiche di rilevazione generalmente adottano una prospettiva comparata e si rivolgono alla
popolazione adulta di un Paese o alla popolazione giovanile a una certa età (o in età compresa in un certo
intervallo). Gli esempi più importanti che è possibile richiamare sono da una parte, la recente analisi e
valutazione sviluppata in ambito OCSE sulle competenze degli adulti (International Programme for
Assessment of Adult Competences PIAAC), e il periodico assessment di competenze e conoscenze degli
studenti di 15 anni che viene sviluppato, sempre sotto l’egida dell’OCSE, attraverso i test PISA (Programme
for International Student Assessment).
I test rivolti ai laureandi individuati secondo il requisito della maturità conseguita nel corso di studi
piuttosto che sulla base dell’età anagrafica, invece, hanno lo scopo di monitorare e quindi consentire una
valutazione del livello di competenze generaliste che sono possedute al momento del rilascio del titolo
universitario, per comprendere il contributo che la formazione di terzo livello ha prodotto in termini di
apprendimento degli studenti coinvolti, con particolare riferimento alla loro capacità di ragionare in modo
critico per la soluzione di un problema, la capacità di rappresentare e trasmettere un determinato risultato
e di apprendere conoscenze nuove legate ad ambiti non necessariamente collegati con le particolarità della
disciplina scientifica che è oggetto del proprio percorso formativo.
Pur riconoscendo che la formazione universitaria interviene nel miglioramento delle competenze di tipo
generalista, la misurazione dell’apporto attribuibile al corso di laurea (CDL) nella formazione di questo tipo
di competenze resta estremamente difficile, e non è facile capire quanto esse siano legate a una situazione
di vantaggio o svantaggio, dovuta a vari fattori, personali e ambientali, con cui lo studente entra nel
percorso di istruzione superiore. D’altra parte, i corsi di laurea (CDL) nelle loro dichiarazioni di competenze
che sono trasmesse agli studenti adottano quasi sempre, locuzioni che fanno riferimento al miglioramento
di capacità di tipo generalista, ancorché applicate nello specifico campo scientifico di riferimento del corso.
Il paper vuole approfondire come gli studenti italiani giudicano le loro competenze generaliste, e il
contributo che esse hanno ricevuto dal CDL frequentato, e utilizza i risultati prodotti dalla recente
sperimentazione TECO promossa dall’ANVUR.
Il paper è organizzato come segue: il primo paragrafo descrive lo scopo dell’analisi, il secondo, la
metodologia utilizzata. Nel terzo paragrafo sono presentati i risultati ottenuti, e nel quarto sono articolate
la discussione e le conclusioni dei risultati ottenuti.
1. Scopo dell’analisi
Le domande che guidano l’analisi sono: quali fattori concorrono a creare nello studente un apprezzamento
positivo del proprio CDL? Come si differenziano i profili degli studenti che valutano positivamente la
formazione del proprio CDL per quanto riguarda le competenze di carattere generalista, da quelli che
hanno invece una valutazione negativa? Quali sono le correlazioni fra i suddetti giudizi, positivi o negativi, e
i risultati dei test TECO?
Non si intende, dunque, entrare nel merito della valutazione della capacità o meno del test TECO di rilevare
le competenze generaliste e delle eventuali distorsioni che esso è in grado di produrre; per lo scopo della
nostra analisi assumeremo, infatti, che la rilevazione delle competenze generaliste a mezzo test fornisce
una rappresentazione delle competenze medesime. L’interesse è, infatti, capire come le competenze
2
rilevate dal test siano coerenti con la valutazione che gli studenti danno al proprio CDL su questo medesimo
aspetto, e quanto i suddetti risultati possano essere collegati a un contributo effettivamente fornito
dall’università.
Il paper parte da alcune proposizioni normative circa il possesso da parte di un laureando delle competenze
di tipo generalista:
- Le competenze generaliste in un laureando sono collegate anche al percorso universitario, e alla
capacità del corso di sviluppare nello studente una forte consapevolezza delle suddette
competenze;
- La consapevolezza delle proprie capacità è influenzata dal contenuto del CDL seguito, con una
posizione di vantaggio degli studenti che approfondiscono conoscenze legate all’uomo e alla sua
vita sociale;
- La valutazione positiva o negativa che i laureandi hanno delle proprie competenze generaliste non
corrisponde a un effettivo possesso delle competenze medesime. Fattori diversi di tipo cognitivo,
economico e sociale possono influenzare la valutazione positiva o negativa del CDL.
Le proposizioni normative indicate sono testate attraverso le seguenti proposizioni empiriche che
costituiscono le ipotesi operative da controllare:
- Gli studenti giudicano in genere positivamente i propri skill generici, e considerano il corso
universitario, un fattore che ha contribuito a costruire questa competenza. Detta valutazione è
legata a fattori collegati con la formazione universitaria ricevuta, è più accentuata negli studenti
delle facoltà umanistiche e sociali, e non risente di fattori legati all’ambiente o a fattori personali;
- Il giudizio negativo rispetto al contributo dell’università alle competenze generaliste non è
collegato a fattori di carattere personale;
- I confronti con i risultati del test TECO non confermano che le valutazioni positive degli studenti
siano predittori di effettive competenze di carattere generalista: la valutazione positiva degli
studenti è molto accentuata nelle università meridionali e nei CDL umanistici e sociali, e
corrisponde a valori più bassi nei test in generale, e nel test SRQ in particolare.
2. Metodologia
La risposta a queste domande parte da un dato rilevato nel corso della sperimentazione TECO; a tutti gli
studenti partecipanti (5.853) è stato infatti chiesto, prima di svolgere il test:
“Il tuo corso di studio sviluppa negli studenti, secondo te, competenze trasversali tipo capacità di
individuare le incoerenze logiche in un ragionamento, di risolvere problemi non affrontati
precedentemente, di comunicare efficacemente il tuo pensiero per iscritto?”
La risposta prevista era di tipo SI/NO. Si può considerare che la risposta ‘SI’ rappresenti un apprezzamento
positivo dello studente sul possesso di competenze generaliste, alla formazione delle quali il/la rispondente
ritiene abbia contribuito il CDL frequentato. La risposta ‘NO’ contiene invece una valutazione non positiva
rispetto alla capacità del corso di trasmettere le suddette competenze. La risposta fornita alla domanda
riportata è considerata nell’analisi non come una percezione dello/della laureando/a ma come una risposta
informata, quindi un giudizio (o apprezzamento o valutazione) basato sulla concreta esperienza di
formazione di terzo livello degli studenti del CDL.
Le risposte sono messe in relazione a fattori di contesto, per comprendere quali siano i predittori più
robusti di una valutazione positiva da parte degli studenti della capacità del CDL di fornire competenze
generaliste, e cosa al contrario induce un giudizio negativo.
Sono presi in considerazione fattori legati a:
- la formazione universitaria (qualità della macro-area disciplinare dell’ateneo attraverso l’indicatore
“R” della VQR, condizione di studente lavoratore, frequenza regolare, fuori sede, lingua parlata in
famiglia, viaggi, conoscenza di lingue straniere, possesso di strumentazione informatica, CDL con
test di selezione all’ingresso nazionale o locale),
- fattori personali (genere, voto alla maturità, scuola secondaria frequentata, titolo di studio e
professione del padre e della madre),
- fattori ambientali (circoscrizione geografica, tasso di occupazione della regione dove è posizionato
l’ateneo, risultati test PISA 2006 nella regione).
3
Le risposte alla domanda ‘SI’ sono inoltre analizzate in relazione ai risultati effettivamente ottenuti nei test
affrontati (Test TECO totale, Test SRQ totale, Test PT totale).2
Il campione di studenti che ha sostenuto il test TECO è composto da 5853 unità3, di queste 5817 hanno
risposto alla domanda “Competenze adeguate” (lo studente ritiene che il corso abbia fornito competenze
trasversali), 36 unità non entrano quindi nelle successive analisi (missing values). Gli studenti che hanno
risposto SI alla domanda “Competenze adeguate” sono 4680 (80,45%), mentre coloro che hanno risposto
NO sono 1137 (19,55%).
Tabella 1 – Distribuzione degli studenti che hanno risposto alla domanda sulle competenze trasversali
COMPETENZE |
ADEGUATE
|
FREQ.
PERCENT
CUM.
------------+----------------------------------NO |
1,137
19.55
19.55
SI |
4,680
80.45
100.00
------------+----------------------------------TOTAL |
5,817
100.00
3. La distribuzione dei giudizi positivi o negativi delle competenze generaliste
Il primo passo della nostra analisi consiste nel comprendere come siano distribuiti gli studenti in relazione
alla valutazione positiva o negativa che essi hanno delle proprie competenze generaliste.
Di seguito viene presentata la distribuzione degli studenti per macro-area di CDL (Area sanitaria, area
scientifica, area sociale e area umanistica). Gli studenti appartenenti all’area scientifica sono i più numerosi,
a seguire gli studenti appartenenti all’area sociale, gli studenti dell’area umanistica ed infine gli studenti
dell’area sanitaria.4 Si devono evidenziare a questo proposito i limiti che segnano le analisi presentate, le
quali risentono naturalmente degli effetti di un campione non rappresentativo della distribuzione effettiva
dei laureandi nelle macro-aree considerate, con uno sbilanciamento consistente delle risposte ottenute
dagli studenti dell’area scientifica e un forte sottodimensionamento degli studenti dell’area sanitaria.
Tabella 2 – Distribuzione degli studenti per macro-area
|
COMPETENZE ADEGUATE
DESCRIZIONE MACROAREA |
NO
SI |
TOTAL
-----------------+----------------------+---------AREA SANITARIA |
208
709 |
917
AREA SCIENTIFICA |
312
1,701 |
2,013
AREA SOCIALE |
386
1,580 |
1,966
AREA UMANISTICA |
231
690 |
921
-----------------+----------------------+---------TOTAL |
1,137
4,680 |
5,817
Pearson chi2(3) =
44.6549
Pr = 0.000
La tabella proposta di seguito conferma quanto appena detto, e rispetto alla tabella precedente permette
la comparabilità tra le quattro aree; infatti, oltre alla frequenza assoluta sono riportate anche la
percentuale di colonna e di riga. Si può notare che l’area sociale presenta il maggior numero di risposte
negative sulla domanda riguardante le proprie competenze rispetto alle altre aree. All’interno di ciascuna
macro-area, tuttavia, la quota di studenti che hanno un apprezzamento negativo delle proprie competenze
generaliste acquisite durante il CDL è maggiore nell’area umanistica, mentre molto accentuato è
l’apprezzamento positivo delle competenze suddette tra gli studenti dell’area scientifica.
2
Per le caratteristiche metodologiche e i risultati complessivi del test TECO si rinvia al Rapporto Finale dell’ANVUR sulla
sperimentazione (http://www.anvur.org).
3 Al test TECO hanno partecipato effettivamente 5898 studenti. Di questi, 5853 studenti hanno svolto il test, mentre 45 hanno
avuto il test annullato avendo conseguito nel modulo PT un voto inferiore a 3 (cfr. Rapporto Finale, ANVUR)
4 Gli studenti idonei al TECO sono al netto di quelli iscritti ai corsi di laurea delle professioni sanitarie (cfr. Rapporto Finale, ANVUR)
4
Tabella 3 - Distribuzione degli studenti per macro-area con valori percentuali
| competenze_adeguate
desc_macroareaN |
NO
SI |
Total
-----------------+----------------------+---------Area Sanitaria |
208
709 |
917
|
22.68
77.32 |
100.00
|
18.29
15.15 |
15.76
-----------------+----------------------+---------Area Scientifica |
312
1,701 |
2,013
|
15.50
84.50 |
100.00
|
27.44
36.35 |
34.61
-----------------+----------------------+---------Area Sociale |
386
1,580 |
1,966
|
19.63
80.37 |
100.00
|
33.95
33.76 |
33.80
-----------------+----------------------+---------Area Umanistica |
231
690 |
921
|
25.08
74.92 |
100.00
|
20.32
14.74 |
15.83
-----------------+----------------------+---------Total |
1,137
4,680 |
5,817
|
19.55
80.45 |
100.00
|
100.00
100.00 |
100.00
Pearson chi2(3) =
44.6549
Pr = 0.000
La distribuzione delle valutazioni degli studenti tra il Si e il NO nelle diverse macro-aree è rappresentata nel
grafico seguente (Fig. 1)
Fig. 1 – Distribuzione degli studenti per macro-area
SI; Area Sanitaria;
77,32%
SI; Area
Scientifica;
84,50%
SI; Area Sociale;
80,37%
SI; Area
Umanistica;
74,92%
NO
NO; Area
Sanitaria; 22,68%
NO; Area
Scientifica;
15,50%
NO; Area Sociale;
19,63%
NO; Area
Umanistica;
25,08%
SI
Il grafico successivo (Fig. 2) rappresenta la distribuzione degli studenti che hanno risposto SI e NO alla
domanda “Competenze adeguate” per Università di appartenenza; si nota una forte asimmetria a favore
della prima università romana (La Sapienza) e un forte sottodimensionamento delle risposte attribuibili
all’Università di Cagliari e di Messina.
5
0
500
1,000
1,500
Fig. 2 – Distribuzione degli studenti per università
BO
CA
FI
ME
MI
NA
Comptetenze adeguate = SI
PA
PI
RO1 RO2
SA
UD
Comptetenze adeguate = NO
Il campione osservato non può dunque essere considerato rappresentativo dell’effettiva distribuzione dei
laureandi nelle università osservate; il campione potrebbe anche essere affetto da un problema di
autoselezione, che tende ad eliminare gli studenti con competenze migliori o quelli con competenze
peggiori.5 Tuttavia, l’elevata numerosità delle osservazioni consente di sviluppare analisi indicative sulle
caratteristiche degli studenti rispetto al possesso di competenze generaliste, sulle determinati di tale
autovalutazione, nonché sulla connessione con l’effettivo possesso delle capacità medesime, ancorché i
risultati abbiano una possibilità di generalizzazione limitata.
4. Le determinanti della valutazione positiva o negativa delle competenze generaliste
Per comprendere quali siano i fattori che sono in grado di predire la probabilità che gli studenti esprimano
una valutazione positiva o negativa delle competenze generaliste trasmesse dal CDL è stato adottato un
modello di regressione logistica.
La regressione logistica permette di valutare l’effetto dei fattori legati alla formazione universitaria, dei
fattori personali, dei fattori ambientali e delle possibili interazioni sulla variabile dummy scelta come
variabile risposta, nel nostro caso “competenze adeguate”. 6
La scelta del modello ha seguito un approccio cosiddetto dal generale allo specifico; si è partiti con un
modello completo di tutte le componenti per poi eliminare quelle non statisticamente significative. Il
modello è stato quindi costruito attraverso due differenti modalità: nella prima sono state inserite tutte le
variabili in blocco, nella seconda è stata effettuato un procedimento di tipo selettivo. Il primo modello che
si è stimato comprendeva i fattori legati alla formazione universitaria, precisamente: macro area di
5
L’analisi del ruolo svolto dalla scuola media superiore e dalla media dei voti di laurea sembrerebbe favorire l’ipotesi di una
autoselezione positiva degli studenti partecipanti al test TECO, cfr. Peracchi F., TECO 2013: un primo esame dei risultati, 4 marzo
2014
6 Considerate le caratteristiche dei dati a disposizione, la funzione logistica è una stima più appropriata dei valori empirici rispetto
alla regressione lineare, la quale addirittura presenta valori superiore ad 1, elemento questo che, data la natura dicotomica della
variabile risposta, costituisce un errore di stima.
6
appartenenza (area sanitaria, scientifica, sociale e umanistica), qualità dell’ateneo, ovvero l’indicatore R
della VQR (si è calcolata la media dell’indicatore R per le aree CUN appartenenti alla stessa macro area), la
disciplina (variabile ‘classe di laurea’); i fattori personali, fra cui genere, voto alla maturità, l’opzione
studente lavoratore e professione del padre e della madre; i fattori ambientali: circoscrizione geografica,
tasso di occupazione, e il risultato del test PISA 2006.
Sono stati preventivamente calcolati i coefficienti di correlazione di Pearson, per valutare la presenza di
eventuali multicollinearità tra le variabili considerate. Sono stati costruiti standar error di β^ cappello
corretti per la presenza di eteroschedasticità (correzione di White). Come già detto, il modello proposto
non può essere letto come causa-effetto per i problemi legati all’autoselezione di cui soffre il dataset.7
Il modello empirico finale ha utilizzato le seguenti variabili:
Yi: Competenze adeguate (Si/No)
X1: Numero componenti in famiglia (variabile discreta)
X2: Frequenza regolare ai corsi di laurea (Si/No)
X3: Fuori sede (Si/No)
X4: Test d’ingresso nazionale (Si/No)
Variabili inserite nel modello appartenenti alla macro variabile Classe di laurea L270:
X5: Storia (Si/No)
X6: Scienze sociali per la cooperazione (Si/No)
X7: Beni culturali (Si/No)
X8: Discipline delle arti figurative (Si/No)
X9: Disegno Industriale (Si/No)
X10: Lingue e culture moderne (Si/No)
X11: Magistrali in giurisprudenza (Si/No)
X12: Mediazione linguistica (Si/No)
X13: Scienze del turismo (Si/No)
X14: Scienze dell’educazione e della formazione (Si/No)
X15: Scienze delle attività motorie e sport (Si/No)
X16: Scienze e tecniche edilizia (Si/No)
X17: Scienze e tecniche psicologiche (Si/No)
X18: Scienze e tecnologie farmaceutiche (Si/No)
X19: Scienze e tecnologie fisiche (Si/No)
X20: Scienze matematiche (Si/No)
Le variabili che invece non sono entrate nel modello finale sono le seguenti:
Test Locale Corso
Ateneo Di Appartenenza
Qualità dell’ateneo di appartenenza nella macro-area
Sesso
Voto Diploma
Aggregazione Di Desc Tipo_Scuola
Regione Di Appartenenza Scuola Superiore
7 Il modello logit ha la seguente struttura:
La relazione può essere scritta, in maniera equivalente, anche nel seguente modo:
7
Lingua Parlata In Casa
Studente/Lavoratore
Numeri Di Altri Fratelli Studenti
Attitudine Ai Viaggi
Numero Di Corsi Frequentati In Lingua Italiana
Numero Di Corsi Frequentati In Lingua Estera
Periodi Trascorsi All'estero Per Progetto Erasmus o Altro Programma Di Studio
Aggregazione Professione Padre
Aggregazione Professione Madre
Aggregazione Titolo Padre
Aggregazione Titolo Madre
Contratto Di Lavoro Padre
Contratto Di Lavoro Madre
Forme Di Diritto Allo Studio Fruite
Tasso di occupazione8
Risultati PISA 20069
Indicatore R della struttura nell’area (VQR)10
Indice Tecnologico
Indice Lingua
Media voto presente in ANS
Numero di esami in ASN
Sono state sviluppate la funzione logit e la funzione logistic; la prima funzione riporta i coefficienti delle
esplicative, la seconda funzione riporta gli odds ratio. Nella tabella seguente (Tab. 4) sono riportati gli oddsratio che permettono una più facile lettura del modello11:
8
Tasso di occupazione regionale nell’anno 2012.
Si è presa l’indagine PISA 2006 per ragioni di comparabilità; gli studenti che hanno effettuato il Test Pisa nel 2006 hanno l’età di
coloro che oggi hanno effettuato il Test TECO.
10 Fornisce un’indicazione sulla posizione dell’università rispetto alla media di Area (Valutazione della Qualità della Ricerca (VQR)
2004-2010).
11 L’odds ratio rappresenta il rapporto tra i rapporti delle modalità tra variabili prese due a due. L’interpretazione degli odds ratio
avviene nel modo seguente: se non c’è nessuna relazione tra la variabile esplicativa X i e la probabilità che la variabile risposta (Y1)
assume valore 1 (Competenza adeguata = SI) il valore dell’odds ratio è pari a 1 da cui βi=0 (i coefficienti β sono nella prima tabella);
valori dell’odds ratio maggiori di 1 (ai quali corrispondono valori del parametro βi>0) indicano un effetto positivo della variabile
esplicativa Xi sulla probabilità che la variabile risposta Y assuma il valore 1; valori dell’odds ratio compresi tra 0 e 1, indicano un
effetto negativo della variabile esplicativa Xi sulla probabilità che la variabile risposta Y assuma il valore 1.
9
8
Tab. 4 – Funzione logistica sulle determinanti della risposta ‘SI’ o ‘NO’
Logistic regression
Number of obs
Wald chi2(20)
Prob > chi2
Log likelihood = -2762.8447
competenze_adeguate
Odds Ratio
frequenza_regolare
fuori_sede
test_naz_corso
Storia
Scienzesociali_per_la_coop
Beni_culturali
Disciplineartifigurative
Disegno_industriale
Lingueculturemod
Magistraliin_giur
Mediazioneling
Scienze_del_turismo
Scienzeeducazione_e_della_formaz
Scienzeattimotorie_e_sport
Scienze_e_tecedilizia
Scienze_e_tecniche_psicologiche
Scienzetecnologie_farmac
Scienzetecnologie_fisiche
Scienze_matematiche
numero_nucleo_familiareN
3.176845
1.236896
.4748974
.4313976
.2386325
.511664
.2960553
.3520759
.3687952
.6049469
.3240487
.3980823
.5304615
.1589114
.4179005
.6359332
.3473674
8.58086
4.194385
1.086434
Std. Err.
.3371009
.0841353
.0447531
.1288776
.1375005
.103652
.0784539
.0975254
.0690416
.0580364
.0765235
.1429066
.1132315
.0523921
.1674342
.118555
.153327
6.151022
1.927935
.0170312
=
=
=
z
10.89
3.13
-7.90
-2.81
-2.49
-3.31
-4.59
-3.77
-5.33
-5.24
-4.77
-2.57
-2.97
-5.58
-2.18
-2.43
-2.40
3.00
3.12
5.29
5817
1747.91
0.0000
P>|z|
[95% Conf. Interval]
0.000
0.002
0.000
0.005
0.013
0.001
0.000
0.000
0.000
0.000
0.000
0.010
0.003
0.000
0.029
0.015
0.017
0.003
0.002
0.000
2.58032
1.082514
.394807
.2402072
.0771376
.3439933
.1761192
.204575
.2555248
.5012519
.2039862
.196971
.3491064
.0832759
.1905611
.4412907
.1462416
2.105541
1.703791
1.053561
3.911277
1.413296
.5712349
.7747639
.7382328
.7610616
.4976674
.6059265
.5322767
.7300934
.514778
.8045325
.8060278
.3032431
.9164559
.9164278
.8251008
34.97019
10.32572
1.120332
Come si può vedere, i fattori che predicono una risposta positiva alla domanda sulla capacità del CDL di
fornire competenze di tipo generalista adeguate sono: la frequenza regolare, il tipo di corso di laurea, ma
solo nel caso dei corsi di scienze matematiche e scienze e tecnologie fisiche, e più debolmente, l’essere uno
studente fuori sede. La numerosità del nucleo familiare ha in realtà un valore molto basso.
Pertanto la prima proposizione empirica risulta confermata solo in parte. I laureandi che hanno partecipato
alla sperimentazione TECO valutano positivamente nella maggior parte dei casi le capacità del CDL di
fornire loro competenze generaliste adeguate. I fattori di carattere personale e ambientale effettivamente
non sembrano essere predittivi di un apprezzamento positivo da parte degli studenti, né appaiono rilevanti
i fattori legati al percorso di studio precedente all’università (come Tipo di scuola o Voto di diploma); fattori
rilevanti sono la frequenza regolare dei corsi e il tipo di corso di laurea, ma solo nei casi dei i corsi relativi
alle scienze matematiche e fisiche, mentre non si riscontra nessuna particolare significatività dei CDL delle
aree umanistiche e sociali.12 La seconda proposizione empirica che lega un apprezzamento negativo della
rilevanza del CDL nella formazione di competenze generaliste, non appare confermata né dall’analisi
descrittiva, né dalla regressione logistica.
Un approfondimento specifico è stato fatto ad alcune condizioni ‘abilitanti’ rispetto a una valutazione
positiva del contributo del CDL sulla formazione di competenze generaliste. Il possesso di tecnologie
informatiche e la conoscenza delle lingue sono stati selezionati come elementi suscettibili di ampliare e
sostenere la formazione di competenze generaliste, generando dei vantaggi in chi li possiede rispetto a chi
non li possiede, o li possiede in misura ridotta. Di seguito la variabile dummy “Competenze adeguate” è
stata messa in relazione con l’indice tecnologico (Tab. 5) e l’indice lingue (Tab. 6).
L’indice tecnologico è di tipo additivo: sono stati assegnati dei pesi (valori) alle variabili PC, Tablet e
Smartphone attraverso l’osservazione della distribuzione di frequenza, assumendo, quindi, che più una
tecnologia è diffusa più scarso sia peso nella costruzione dell’indice in quanto la tecnologia è meno
suscettibile di creare vantaggi competititvi. L’indice costruito è il seguente:
12
In realtà, gli studenti che appartengono a queste macro-aree hanno la più alta probabilità di rispondere negativamente alla
domanda sul contributo del CDL alla formazione di competenze generaliste, come appunto dimostra il valore compreso tra 0 e 1
nell’odds ratio della regressione logistica.
9
Itec = pc+(tablet*3)+(smartphone*2)
L’indice lingue è sempre un indice additivo ma senza pesi, perché conoscere una lingua anziché un’altra
non fa differenza nella seguente analisi. L’indice “lingue conosciute” è stato costruito nel seguente modo:
Iling = Inglese+Francese+Tedesco+Spagnolo
Come si può notare dalle tabelle citate non c’è nessuna differenza tra gli studenti che hanno un
apprezzamento positivo del contributo del CDL alla formazione delle competenze generaliste e coloro che
hanno una valutazione negativa per quanto riguarda i due indici. I test inoltre non hanno significatività
statistica.
Tab. 5 – Valutazione delle competenze adeguate in relazione all’indice tecnologico
indice |
tecnologico| competenze_adeguate
|
NO
SI |
Total
-----------+----------------------+---------Basso |
788
3,251 |
4,039
|
69.31
69.47 |
69.43
-----------+----------------------+---------Medio |
284
1,219 |
1,503
|
24.98
26.05 |
25.84
-----------+----------------------+---------Alto |
65
210 |
275
|
5.72
4.49 |
4.73
-----------+----------------------+---------Total |
1,137
4,680 |
5,817
|
100.00
100.00 |
100.00
Pearson chi2(2) =
3.3336
Pr = 0.189
Tab. 6 – Valutazione delle competenze adeguate in relazione all’indice lingue
| competenze_adeguate
Indice Lingue |
NO
SI |
Total
----------------------+----------------------+---------Nessuna lingua strani |
308
1,326 |
1,634
|
27.09
28.33 |
28.09
----------------------+----------------------+---------Almeno una lingua str |
779
3,153 |
3,932
|
68.51
67.37 |
67.59
----------------------+----------------------+---------Almeno tre lingue str |
50
201 |
251
|
4.40
4.29 |
4.31
----------------------+----------------------+---------Total |
1,137
4,680 |
5,817
|
100.00
100.00 |
100.00
Pearson chi2(2) =
0.7032
Pr = 0.704
5. La correlazione tra valutazione positiva e risultati del test TECO
La domanda relativa alle competenze adeguate riporta una valutazione dello studente rispetto al
contributo del CDL seguito sulla formazione di competenze generaliste. Vogliamo ora controllare quanto
l’apprezzamento individuale sia correlato ai risultati effettivamente ottenuti nel test TECO.
10
Per questo scopo, il punteggio del test è stato codificato in tre modalità: punteggio basso=1, punteggio
medio =2 e punteggio alto =3 attraverso la trasformazione della variabile numerica in variabile
categoriale.13
Di seguito la Tabella 7 presenta la distribuzione dei laureandi che hanno risposto SI e NO alla domanda sulla
capacità del CDL di trasmettere competenze generaliste e il livello ottenuto nei risultati TECO. Come si può
osservare, non esiste nessuna differenza tra i risultati del test TECO e le due modalità della domanda
“Competenze adeguate”. La valutazione positiva del contributo del Corso di laurea sulla formazione delle
competenze generaliste non è dunque correlata all’effettivo possesso delle competenze medesime come
misurate dal test TECO, sia che si tenga in conto il risultato del test complessivo, sia che si tengano in conto
i risultati collegati alla Performance Task (PT, Tab. 8) o al test con domande a risposta multipla (SRQ, Tab. 9).
Tab. 7 – Frequenze assolute e relative degli studenti che hanno risposto ‘SI’ e ‘NO’ per risultato TECO
complessivo
competenze |
tot scale
adeguate |
Basso
Medio
Alto |
Total
-----------+---------------------------------+---------NO |
44
856
237 |
1,137
|
3.87
75.29
20.84 |
100.00
|
15.17
20.13
18.60 |
19.55
-----------+---------------------------------+---------SI |
246
3,397
1,037 |
4,680
|
5.26
72.59
22.16 |
100.00
|
84.83
79.87
81.40 |
80.45
-----------+---------------------------------+---------Total |
290
4,253
1,274 |
5,817
|
4.99
73.11
21.90 |
100.00
|
100.00
100.00
100.00 |
100.00
Pearson chi2(2) =
5.1610
Pr = 0.076
Tab. 8 – Frequenze assolute e relative degli studenti che hanno risposto ‘SI’ e ‘NO’ per risultato TECO- PT
|
Competenze_adeguate|
Pt scale |
NO
SI |
Total
-----------+----------------------+---------Basso |
453
1,932 |
2,385
|
18.99
81.01 |
100.00
|
39.84
41.28 |
41.00
-----------+----------------------+---------Medio |
594
2,378 |
2,972
|
19.99
80.01 |
100.00
|
52.24
50.81 |
51.09
-----------+----------------------+---------Alto |
90
370 |
460
|
19.57
80.43 |
100.00
|
7.92
7.91 |
7.91
-----------+----------------------+---------Total |
1,137
4,680 |
5,817
|
19.55
80.45 |
100.00
|
100.00
100.00 |
100.00
13
La codifica è stata effettuata dividendo per tre la differenza tra il valore massimo e il valore minimo dei punteggi ottenuti al test,
precisamente: (1500-358)/3=381). Il valore risultante è stato sommato al valore minimo della distribuzione (358+381=739)
formando il gruppo con etichetta “Basso”, poi è stato sommato al valore mediano (740+381=1121), ottenendo il secondo
raggruppamento etichettato come “Medio”, i restanti valori sono andati a formare il gruppo dei punteggi con etichetta “Alto”.
11
Tab. 9 – Frequenze assolute e relative degli studenti che hanno risposto ‘SI’ e ‘NO’ per risultato TECO-SRQ
| Competenze_adeguate
srq_scale |
NO
SI |
Total
-----------+----------------------+---------Basso |
28
160 |
188
|
14.89
85.11 |
100.00
|
2.46
3.42 |
3.23
-----------+----------------------+---------Medio |
515
2,148 |
2,663
|
19.34
80.66 |
100.00
|
45.29
45.90 |
45.78
-----------+----------------------+---------Alto |
594
2,372 |
2,966
|
20.03
79.97 |
100.00
|
52.24
50.68 |
50.99
-----------+----------------------+---------Total |
1,137
4,680 |
5,817
|
19.55
80.45 |
100.00
|
100.00
100.00 |
100.00
Esistono differenze nelle relazioni tra valutazione positiva dei laureandi e appartenenza ad alcune
università o ad alcune macro-aree scientifiche? La Tabella 10 riporta le frequenze assolute e le frequenze
relative di riga, divise per università, rispetto al punteggio ottenuto nel TECO. Sono considerati solo per gli
studenti che hanno risposto ‘SI’ alla domanda “competenze adeguate”.
Si nota che l’Università di Napoli presenta la percentuale più elevata, quasi il 10%, di studenti che si
collocano nella categoria con il punteggio TECO più basso, seguita dall’Università del Salento (8.46%).
Sembrerebbe confermata l’ipotesi che nelle università meridionali i laureandi che valutano positivamente il
contributo del CDL alla formazione di competenze generaliste raccolgono valori più bassi nel punteggio
TECO. Poiché la significatività statistica è molto forte (significatività per P < di 0,01), possiamo rifiutare
l’ipotesi nulla H0, cioè la relazione non è dovuta al caso. La tabella successiva (Tab. 11) mostra
l’associazione tra il punteggio TECO e le quattro macro-aree. I valori e le percentuali (che permettono la
comparabilità) sono equidistribuite; anche qui c’è forte significatività statistica, rifiutiamo l’ipotesi nulla H0
a favore dell’ipotesi H1, l’associazione non è dovuta al caso. I dati evidenziano le Scienze sociali con il più
alto numero di studenti con punteggio basso e le Scienze umanistiche con il più basso numero di studenti
con punteggio alto.
12
Tab. 10 – Frequenze assolute e relative per università degli studenti che hanno risposto ‘SI’
SchoolName
RECODE of TOT_SCALE (TOT_SCALE)
1
2
3
Total
BOLOGNA
5
1.72
184
63.45
101
34.83
290
100.00
CAGLIARI
4
4.65
65
75.58
17
19.77
86
100.00
FIRENZE
14
2.53
375
67.69
165
29.78
554
100.00
MESSINA
6
5.36
90
80.36
16
14.29
112
100.00
MILANO
25
3.99
378
60.29
224
35.73
627
100.00
NAPOLI Federico II
45
9.43
347
72.75
85
17.82
477
100.00
PADOVA
17
3.85
292
66.21
132
29.93
441
100.00
PIEMONTE ORIENTALE
10
3.80
190
72.24
63
23.95
263
100.00
ROMA La Sapienza
85
6.45
976
74.11
256
19.44
1,317
100.00
ROMA Tor Vergata
7
4.55
111
72.08
36
23.38
154
100.00
SALENTO
11
8.46
100
76.92
19
14.62
130
100.00
UDINE
7
3.06
161
70.31
61
26.64
229
100.00
Total
236
5.04
3,269
69.85
1,175
25.11
4,680
100.00
Pearson chi2(22) = 150.9925
Pr = 0.000
Tab. 11 – Frequenze assolute e relative per macro-area degli studenti che hanno risposto ‘SI’
DESC_MACROAREA
RECODE of TOT_SCALE (TOT_SCALE)
1
2
3
Total
Area Sanitaria
41
5.78
452
63.75
216
30.47
709
100.00
Area Scientifica
78
4.59
1,212
71.25
411
24.16
1,701
100.00
Area Sociale
84
5.32
1,087
68.80
409
25.89
1,580
100.00
Area Umanistica
33
4.78
518
75.07
139
20.14
690
100.00
Total
236
5.04
3,269
69.85
1,175
25.11
4,680
100.00
Pearson chi2(6) = 24.8626
Pr = 0.000
13
Se spostiamo l’osservazione a livello di CDL, quali relazioni esistono tra apprezzamento positivo del CDL da
parte dei laureandi ed effettiva performance nel test TECO?
La Tabella 12, presenta i dati sui laureandi di scienze matematiche e fisiche, e tutti gli altri laureandi, che
hanno risposto ‘SI’ alla domanda sulla capacità del CDL di fornire competenze adeguate”, e il risultato in
TECO. Si può notare che la valutazione positiva degli studenti di matematica e fisica corrisponde a una
performance che non prevede nessun caso di punteggio basso al test medesimo; in sostanza i laureandi in
queste discipline che valutano positivamente il contributo offerto dal loro CDL alla formazione di
competenze generaliste, mostrano una relazione statisticamente significativa con l’effettivo possesso di un
livello medio-alto di competenze come misurato dal test TECO.
Tab. 12 - Studenti delle scienze matematiche e fisiche e tutti gli altri studenti che hanno risposto ‘SI’ per
risultato TECO
| Scienze matematiche
tot_scale |
0
1 |
Total
-----------+----------------------+---------Basso |
246
0 |
246
|
5.40
0.00 |
5.26
-----------+----------------------+---------Medio |
3,315
82 |
3,397
|
72.76
66.13 |
72.59
-----------+----------------------+---------Alto |
995
42 |
1,037
|
21.84
33.87 |
22.16
-----------+----------------------+---------Total |
4,556
124 |
4,680
|
100.00
100.00 |
100.00
Pearson chi2(2) =
15.3132
Pr = 0.000
| Scienze e tecnologie
|
fisiche
tot_scale |
0
1 |
Total
-----------+----------------------+---------Basso |
246
0 |
246
|
5.37
0.00 |
5.26
-----------+----------------------+---------Medio |
3,333
64 |
3,397
|
72.76
64.65 |
72.59
-----------+----------------------+---------Alto |
1,002
35 |
1,037
|
21.87
35.35 |
22.16
-----------+----------------------+---------Total |
4,581
99 |
4,680
|
100.00
100.00 |
100.00
Pearson chi2(2) =
14.1421
Pr = 0.001
Diversa è invece la situazione dei laureandi in Scienza dell’Educazione e della Formazione presentata nella
Tabella 13. In questo caso, infatti, i dati mostrano una relazione tra apprezzamento positivo da parte degli
studenti sul CDL e una performance nel test TECO medio-bassa; la relazione presenta una significatività
statistica molto forte.
14
Tab. 13 - Studenti delle scienze dell’educazione e della formazione e tutti gli altri studenti che hanno
risposto ‘SI’ per risultato TECO
|
Scienze
|
dell'educazione e
|
della formazione
tot_scale |
0
1 |
Total
-----------+----------------------+---------Basso |
237
9 |
246
|
5.17
9.57 |
5.26
-----------+----------------------+---------Medio |
3,316
81 |
3,397
|
72.31
86.17 |
72.59
-----------+----------------------+---------Alto |
1,033
4 |
1,037
|
22.53
4.26 |
22.16
-----------+----------------------+---------Total |
4,586
94 |
4,680
|
100.00
100.00 |
100.00
Pearson chi2(2) =
19.7171
Pr = 0.000
Riflessioni conclusive
L’analisi condotta consente ora di proporre alcune riflessioni conclusive riguardo a: a) cosa influisce sul
giudizio positivo o negativo che gli studenti danno sulla capacità del proprio CDL di trasmettere
competenze di tipo trasversale, e b) come dette valutazioni trovino una corrispondenza con l’esito del test
TECO che misura il possesso delle competenze medesime.
Le riflessioni proposte sono necessariamente provvisorie: le limitazioni del campione a disposizione per
quanto riguarda la sua rappresentatività e la possibilità di un effetto di autoselezione, sono elementi che
suggeriscono cautela nel trarre conclusioni alle quali attribuire un valore generale.
Per quanto riguarda il primo punto, la probabilità che un laureando esprima un giudizio positivo appare
collegato solo ad alcuni CDL, quelli delle Scienze matematiche e delle Scienze fisiche, e a fattori specifici del
percorso universitario: la frequenza regolare dei corsi e la condizione di studente fuori sede. Il primo
fattore, indica l’effetto positivo che la vita universitaria produce nell’apprezzamento che lo studente ha
della formazione ottenuta; il secondo può essere rivelatore di uno specifico atteggiamento positivo degli
studenti fuori sede (che vivono quindi condizioni di maggiore disagio dei colleghi in sede) rispetto alle
conoscenze trasmesse dal CDL, che ne influenza il giudizio. Interessante comunque notare che sulla
valutazione degli studenti, sia essa positiva o negativa, non sembrano essere rilevanti fattori di carattere
personale (siano essi familiari o di precedenti esperienze di studio), di merito personale (media dei voti
riportati negli esami o numero di esami sostenuti) e fattori ambientali (siano essi di tipo economico, sociale,
di qualità dell’ateneo, o collegati a particolari fattori abilitanti come la conoscenza delle lingue o le
strumentazioni informatiche a disposizione).
Molto interessante appare anche l’assenza di relazione fra valutazione la positiva degli studenti sui propri
CDL e l’effettiva performance nei test TECO, come pure che tale relazione emerga invece nel caso dei CDL
di Scienze matematiche e fisiche. Da una parte, si potrebbe argomentare che questo risultato sia dovuto al
fatto che gli studenti formulano un giudizio non basato su una consapevolezza/conoscenza di cosa sia il
possesso di competenze di tipo generalista. In altre parole, il giudizio degli studenti si fonderebbe su
elementi non oggettivi, e percezioni individuali, che non trovano riscontro nella realtà. In senso
completamente opposto, si potrebbe invece arguire che la mancanza di relazione tra la valutazione degli
studenti e il risultato TECO derivi dalla non corrispondenza tra le competenze generaliste trasmesse dai CDL
e i contenuti del test TECO. In altre parole il contributo del CDL sarebbe riferibile a competenze generaliste
collegate all’uso delle conoscenze trasmesse dal CDL, diverse da quelle rilevate nel test suddetto.
Entrambe le spiegazioni non appaiono convincenti. Da una parte il fatto che la probabilità che gli studenti
formulino un giudizio positivo sia riconducibile a pochi specifici fattori, non collegati a ragioni di contesto
economico-sociale di provenienza, né di merito, non sembra avvalorare una spiegazione basata su
15
inconsapevolezza o mancata capacità di giudizio; bensì evidenzia il collegamento tra giudizio formulato e
concreta esperienza che lo studente vive durante il tempo di permanenza nell’università, sul quale non
sembrano influire altri fattori esterni. Dall’altra, le competenze generaliste sono per definizione trasversali,
e quindi si alimentano attraverso tutti i percorsi formativi cui uno studente è sottoposto. I quesiti dei test
non richiedevano particolari conoscenze tecniche ma una buona capacità di collegamento logico e di noncontraddizione, abilità queste alle quali tutti i CDL sono in grado di contribuire.
Forse la ricerca di una spiegazione più appropriata potrebbe partire proprio dall’ultimo risultato presentato,
che mostra la forte relazione tra valutazione positiva degli studenti e le loro performance medio-alte nei
test nei casi di matematica e fisica, e la posizione di estrema debolezza degli studenti delle scienze
dell’educazione e formazione, dove la relazione della valutazione positiva degli studenti con la loro
performance è invece medio-bassa.
Questo risultato conferma che la didattica dei CDL contribuisce alla formazione di competenze generaliste,
come tutti i percorsi formativi, e non ha una mera funzione di argine a un’eventuale perdita delle
competenze medesime; i risultati del test proposto ai laureandi non sono però in grado di misurare tale
contributo, non avendo un termine di paragone relativo al livello di competenze posseduto dallo studente
al momento dell’ingresso nell’università. Secondo, il miglioramento della qualità della didattica, compresa
quella universitaria, deve prendere in considerazione tra i vari parametri l’ampiezza del divario tra
conoscenze trasmesse (che fanno presumere allo studente che le possiede di avere anche delle
corrispondenti competenze, comprese quelle generaliste) e apprendimento effettivo, nella consapevolezza
che la mancata corrispondenza tra conoscenze possedute e competenze effettivamente acquisite
costituisce un serio problema in grado di influire negativamente sull’inserimento professionale degli
studenti, specie nel mercato del lavoro privato.
Il risultato suggerisce altresì che il problema non si presenta in modo uguale in tutti i CDL: in alcuni casi è
molto accentuato, in altri è del quasi del tutto assente. Gli studenti di alcuni CDL formulano un giudizio sulle
loro competenze trasversali corretto perché in quei CDL non esiste un mismatch tra conoscenza posseduta
e competenze trasversali: questi studenti sono abituati a utilizzare le conoscenze possedute per
“individuare le incoerenze logiche in un ragionamento, risolvere problemi non affrontati precedentemente,
comunicare efficacemente il proprio pensiero per iscritto”. Gli studenti di altri CDL non hanno la stessa
abilità.
Se si considera ragionevole questa possibilità, allora il test TECO rappresenta per le università
un’opportunità formidabile. Piuttosto che essere utilizzato come parametro per l’allocazione di risorse
finanziarie (uso che sarebbe eventualmente consentito solo ove ci fosse una vera “misurazione “ del
contributo attribuibile alle università nella formazione di competenze generaliste), i risultati del test
potrebbero essere un benchmark per controllare ex-post, nel corso degli anni, la capacità delle università di
aumentare la qualità sostanziale dei risultati prodotti attraverso la didattica dei CDL; ciò renderebbe
evidente, prima di tutto allo studente stesso, le situazioni di maggiore debolezza nel possesso di
competenze trasversali, e consentirebbe di avviare attività mirate di accompagnamento per ridurle.
16

Download Report