Fa riferimento alle “parole” che si utilizzano nella formulazione delle domande di un questionario: la scelta di queste parole può determinare risultati di un sondaggio completamente diversi gli uni dagli altri. Uno dei primi e più famosi casi “esemplari” della distorsione introdotta dal wording, della possibile ambiguità cioè nel registrare le opinioni della popolazione, ci riporta a quanto avveniva negli USA durante la guerra del Vietnam (un esempio per certi versi simile a quanto accade oggi rispetto al conflitto Russia-Ucraina): i quotidiani pro-intervento pubblicavano sondaggi in cui emergeva come la maggioranza degli americani fosse favorevole a “proteggere il popolo vietnamita dall’influenza sovietica”; i quotidiani anti-interventisti pubblicavano viceversa sondaggi dove la maggioranza si dichiarava contraria a “mandare i propri figli a combattere e a morire in Vietnam”. Ma tutti i giornali titolavano semplicemente: “Gli americani sono a favore (oppure contro) il ritiro delle truppe”.

Attraverso la scelta di formulare una domanda in un certo modo, usando determinate parole, si potrebbe facilmente manipolare l’opinione pubblica, facendo intuire come la popolazione sia contraria, oppure favorevole, ad un aspetto della vita sociale o ad un avvenimento pubblico. Come dire: scegliendo le parole “giuste”, posso far dire al mio campione di intervistati, in certa misura, ciò che voglio che mi dica.

Ambiguità di questo genere possono avere conseguenze negative per un altro degli scopi principali per cui si effettua un sondaggio, quello cioè di rilevare la diffusione di uno specifico atteggiamento, non altrimenti quantificabile: il tipo di domanda che viene rivolta agli intervistati, al fine di “misurare” questo atteggiamento, può infatti dar luogo a risultati a volte speculari. Il seguente breve esempio, tratto da due sondaggi realmente effettuati, chiarisce bene i termini del problema.

L’obiettivo delle indagini era il medesimo: quantificare il livello di xenofobia presente nel nostro paese. Nel primo sondaggio, si chiedeva agli intervistati se li disturbasse la presenza di troppi immigrati in Italia: il 70% rispose affermativamente. Nel secondo sondaggio, venne invece chiesto agli intervistati se potessero mai prendere in considerazione la possibilità di sposare una persona immigrata: in questo caso il 66% rispose affermativamente.

Due risposte che, ad una lettura superficiale, sembrano rilevare due realtà antitetiche. Se il mio obiettivo è capire quanto sono xenofobi gli italiani, utilizzando la prima formulazione dovrei affermare che sono molto xenofobi, utilizzando la seconda formulazione dovrei giungere ad opposte conclusioni.

Nessuna delle due è di per sé scorretta; enfatizzano solamente due modalità (auto)percettive differenti: la prima ha a che vedere con la dimensione macro (collettiva), la seconda con quella micro (individuale). Come dire: il fenomeno migratorio appare socialmente disturbante, mette in crisi alcune delle mie sicurezze future; ma una singola persona immigrata, se mi piacesse, potrebbe nel caso anche diventare mio marito, o mia moglie.

Come decidere allora se è preferibile utilizzare la prima o la seconda formulazione? Non esistono criteri oggettivi. Dipende in parte dalla sensibilità del ricercatore, in parte dalle risorse a disposizione e in (larga) parte dall’obiettivo del sondaggio. A volte, purtroppo, “manipolativo”. Se il committente è un partito che vuole attuare una politica di rigidità verso l’immigrazione, sarà infatti più favorevole a rendere pubblici i risultati della prima domanda; se al contrario è un partito propenso ad una politica di apertura, renderà più facilmente pubblici i risultati della seconda domanda.

Al di là delle possibili manipolazioni, e considerando le finalità conoscitive di un sondaggio, è auspicabile che il buon ricercatore espliciti il testo esatto della domanda che è stata posta, in modo tale che si renda chiaro al lettore di cosa stiamo esattamente parlando, quando riportiamo i risultati del sondaggio.

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

I due tipi di distorsione che vedremo ora fanno entrambi parte del cosiddetto errore di rilevazione; al contrario dell’errore di campionamento, sempre presente ma calcolabile, questo tipo di errore potrebbe teoricamente non esserci (peraltro solo in teoria…) ma non è comunque mai calcolabile: non sappiamo dunque di quanto sbagliamo nella generalizzazione delle nostre stime.

L’errore di copertura si verifica in diverse fasi dell’indagine e per diversi motivi. Può essere dovuto alla mancanza di un elenco completo dell’universo dei possibili intervistati, da cui estrarre il campione, alla impossibilità di reperimento di una quota significativa di individui campionati o al loro rifiuto preventivo di rispondere alle domande. Nel primo caso nulla si può fare, mentre negli altri due è possibile ovviare al problema estraendo preventivamente ulteriori campioni, chiamati “di riserva”, che prenderanno il posto dei soggetti irreperibili, sostituendoli quindi con nuovi individui reperibili e/o disponibili a collaborare. Ma è ovvio che così facendo introduciamo una (possibile) fonte di distorsione a volte piuttosto grave: come possiamo sapere se l’individuo sostituito risponderebbe in maniera simile al suo sostituto? Solitamente, quando si pubblicano i risultati di un sondaggio, in caratteri molto piccoli, a volte quasi invisibili, viene inserito anche il dato relativo al numero delle sostituzioni, che molto spesso sono almeno tre-quattro volte più numerose delle interviste effettivamente effettuate, come nel caso (tipico) qui riportato.

Indagine condotta con tecnica mista CATI-CAMI-CAWI su un campione di 1200 soggetti maggiorenni residenti in Italia (4566 non rispondenti) il 7 giugno 2022.

Il che significa molto semplicemente che l’Istituto di ricerca è riuscito a intervistare 1200 soggetti facendo quasi 6000 tentativi! Quei quasi cinquemila individui irreperibili o non disponibili avrebbero dato risposte simili? Può darsi di sì o può darsi di no; non lo sappiamo né potremo mai saperlo.

L’errore di mancata risposta si verifica invece quando una parte di coloro che vengono intervistati non vogliono rispondere ad alcune delle domande del questionario, oppure si dichiarano indecisi sulla risposta da fornire oppure ancora non sanno semplicemente cosa rispondere. Prendiamo ad esempio il caso più ricorrente, un sondaggio cioè sulle intenzioni di voto, con una numerosità campionaria di 800 casi: negli ultimi mesi, il numero di intervistati che si dichiara indeciso, che non vuole rispondere o che opta per l’astensione risulta spesso pari se non superiore al 40% del campione. Una parte di loro, diciamo intorno al 25%, non si recherà effettivamente alle urne, ma il restante 15% ci andrà e avrà un certo comportamento di voto, che potrebbe ribaltare completamente i risultati che ci vengono proposti. Come possiamo sapere se chi oggi non indica la propria preferenza elettorale si distribuirà, il giorno delle votazioni, esattamente come chi l’ha invece indicata? Ma non solo. Il problema ulteriore è che le stime che noi leggiamo si riferiscono non più a 800, ma soltanto a 480 individui (con un errore di campionamento – peraltro – molto superiore a quello indicato), che ci dicono siano rappresentativi della popolazione elettorale italiana. Saranno davvero rappresentativi di tutti gli elettori oppure soltanto di quelli più sicuri del proprio voto e/o propensi a dichiararlo?

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

Da anni, da quando ho iniziato ad occuparmi di sondaggi, soprattutto politici ma non solo, ho sempre fatto riferimento ad uno strano decalogo, quasi un decalogo all’incontrario: 10 buoni motivi per cui è opportuno non credere ai sondaggi, o meglio, ai risultati di un sondaggio. Gli errori insiti nel procedimento demoscopico sono così numerosi che, anche a cercare di far le cose in maniera il più corretta possibile, è quasi impossibile arrivare ad una soluzione che rispecchi esattamente il pensiero della popolazione di riferimento. Ci si può avvicinare, certo, ma con grandi margini di imprecisione.

Pensate soltanto ai quotidiani sondaggi sulle intenzioni di voto. Si utilizzano campioni di un migliaio di casi, quando va bene, per stimare partiti che a volte stanno attorno al 4%, e che con il classico “errore di campionamento” del 2-3% potrebbero valere dall’1% al 7%. Senza senso. Ma anche per le forze politiche più robuste le stime rimangono parecchio aleatorie. Su 1000 persone che rispondono, almeno 350-400 sono indecisi o astensionisti, e già qui il campione si riduce a 600 casi, con un margine di errore che sale a +/- 4%. Quindi, se ottengo una percentuale di consensi per la Lega, ad esempio, pari al 32%, vorrà dire che sono quasi certo che la Lega viaggia tra il 28% ed il 36%. Tutto e il contrario di tutto: se fosse al 28%, sarebbe in crisi, al 34% sarebbe in gran spolvero. Sostanzialmente, quel sondaggio non mi serve a niente, non mi dice nulla di più di quanto non sapessi già.

E questo per limitarci al solo errore statistico “misurabile”. Mentre nulla sappiamo di tutte le altre distorsioni non quantificabili: le sostituzioni del campione, l’auto-selezione dei rispondenti, l’errore di rilevazione, le bugie consapevoli e inconsapevoli, gli “auto-inganni”, l’influenza del mezzo di rilevazione, la desiderabilità sociale, la ristrutturazione del ricordo di voto, le risposte acquiescenti, l’impatto dell’intervistatore, l’aleatorietà delle opinioni e così via.

Last ma non certo least, il cosiddetto “wording”, vale a dire la scelta delle parole utilizzate per porre una certa domanda, che ha una influenza a volte così decisiva sui risultati dei sondaggi che in alcune occasioni le opinioni di campioni della popolazione, interrogati nello stesso giorno da due istituti di ricerca differenti, divergevano nettamente le une dalle altre.

Il caso più noto ci riporta a quanto avveniva negli USA durante la guerra del Vietnam: i quotidiani pro-intervento pubblicavano sondaggi in cui emergeva come la maggioranza degli americani fosse favorevole a “proteggere il popolo vietnamita (e americano) dall’influenza sovietica”; i quotidiani anti-interventisti pubblicavano viceversa sondaggi dove la maggioranza si dichiarava contraria a “mandare i propri figli a combattere e a morire in Vietnam”. Ma tutti i giornali titolavano semplicemente: “Gli americani sono a favore (oppure contro) il ritiro delle truppe”.

Questo esempio, unitamente a molti altri dello stesso tenore, ci induce infine a porci la cruciale domanda: fino a che punto è possibile “manipolare” un sondaggio, indirizzare cioè già dalla formulazione delle domande gli esiti delle interviste, ancora da realizzare? Per tentare di rispondere a questo quesito ho condotto un esperimento, in un mio recente laboratorio universitario. Ho redatto due questionari sulla qualità della vita a Milano, uno mirato ad ottenere un esito “positivo” e l’altro “negativo” su numerosi aspetti della vita milanese, e in particolare sulla accoglienza del programmato incremento di 50 centesimi del biglietto dei trasporti pubblici, deciso dal Comune.

Ho mandato poi gli studenti del laboratorio ad effettuare 600 interviste a due campioni gemelli con i due diversi questionari. I risultati hanno certificato, almeno in parte, le aspettative. I giudizi sugli aspetti considerati differiscono di quasi 20 punti percentuali tra il “positivo” e il “negativo”, con differenze piuttosto significative (oltre il 30%) per quanto riguarda soprattutto la dotazione commerciale, la manutenzione stradale e, come c’era da aspettarsi, il tema dell’immigrazione e dell’integrazione. Meno evidente, inaspettatamente, il “distacco” sul problema della sicurezza percepita.

In generale, peraltro, la buona percezione della qualità della vita a Milano è stata ribadita in entrambi gli approcci, con un livello di soddisfazione comunque elevato, costantemente superiore al 70% di giudizi positivi. Segno evidente che, se la gente è abbastanza soddisfatta, risulta difficile indurla alla negatività, anche con strumenti manipolatori.

C’è però un dato, infine, che getta una luce obliqua sulle capacità manipolatorie del “wording”, ed è quello che riguarda il giudizio sull’incremento del biglietto dei mezzi di trasporto. In questo caso, le differenze sono davvero molto sensibili: con l’approccio “positivo” l’opinione favorevole all’aumento del costo è pari al 69%, con quello “negativo” si riduce ad un misero 22%. Un abisso.

Che cosa farà dunque un’Amministrazione comunale “perversa” per far accettare ai suoi cittadini una qualsiasi propria iniziativa? Semplicemente, diffonderà con molta enfasi risultati di sondaggi manipolati, in cui risulta che la popolazione è particolarmente favorevole a quella iniziativa. Attenzione, dunque, quando appaiono sui giornali titoli evocativi di sondaggi effettuati: è opportuno, in ogni occasione, non fidarsi. Meglio andare a verificare “come” sono state poste le domande.