Een gefaseerd ingevoerd programma evalueren

Twee groepen voeren op verschillende momenten een fictief werkgelegenheidsprogramma in. Vergelijk ze met een derde groep en schat het effect in de eerste twee kwartalen na de start van elke groep. Bekijk onder welke aannames je die resultaten kunt duiden.

Het programma en de vergelijkingsgroep

Alle onderstaande waarden zijn synthetisch. De uitkomst is het aandeel werkenden onder inwoners die voor het programma in aanmerking komen. Een vroeg cohort begint in kwartaal 4, een laat cohort in kwartaal 6, en een derde cohort neemt gedurende de hele periode niet deel. Elke reeks toont een cohortgemiddelde. Er zijn geen individuele gegevens.

Aandeel werkenden per cohort en kwartaal (synthetische gegevens) In alle cohorten stijgt het aandeel werkenden vóór de interventie met één procentpunt per kwartaal. Bij het vroege cohort stijgt het aandeel in kwartaal 4 met drie punten, bij het late cohort in kwartaal 6. In het cohort zonder interventie houdt de stijging van één punt per kwartaal aan. De exacte waarden staan in de tabel. Aandeel werkenden (%) 60555045 Q1Q2Q3 Q4Q5Q6Q7
De doorgetrokken lijn toont het cohort dat in kwartaal 4 begint. De streeplijn toont het cohort dat in kwartaal 6 begint. De stippellijn toont het cohort zonder interventie. Vóór elke start verandert het aandeel werkenden even sterk als in het vergelijkingscohort, ook als de niveaus verschillen.
Aandeel werkenden (%) in het synthetische voorbeeld
KwartaalVroege startLate startZonder interventie
Q1465149
Q2475250
Q3485351
Q4515452
Q5535553
Q6555854
Q7566055

Bereken het effect per cohort

Neem het kwartaal vóór deelname als uitgangspunt. Bereken voor elk kwartaal na de start hoeveel het aandeel werkenden in het deelnemende cohort is veranderd. Trek daar de verandering in het vergelijkingscohort over dezelfde kalenderkwartalen van af.

  1. Vroeg cohort, eerste kwartaal in het programma: (51 − 48) − (52 − 51) = 2 procentpunten.
  2. Laat cohort, eerste kwartaal in het programma: (58 − 55) − (54 − 53) = 2 procentpunten.
  3. Tweede kwartaal in het programma: voor het vroege cohort is het verschil (53 − 48) − (53 − 51) = 3 procentpunten. Voor het late cohort is het (60 − 55) − (55 − 53) = 3 procentpunten.

Blijf de schattingen per cohort apart tonen. Als je ze in een echte evaluatie samenvoegt, kies dan gewichten die passen bij je onderzoeksvraag. Vermeld per periode sinds de start welke cohorten in de schatting meetellen.

Wat kan de conclusie veranderen?

De interpretatie steunt op de aanname dat de deelnemende cohorten zonder het programma dezelfde trend zouden hebben gevolgd als het vergelijkingscohort. Trends vóór invoering helpen bij het beoordelen van die aanname. Ook als die trends parallel lopen, blijft het een aanname. Een economische schok die één cohort raakt, een verandering in de samenstelling van een groep, een gedragsreactie vóór de start of doorwerking naar het vergelijkingscohort maakt de schatting moeilijker te duiden.

De groepsgemiddelden laten zien hoe je de schatting berekent. Uit deze cijfers kun je de onzekerheid door steekproeftrekking niet afleiden. Voor echt onderzoek heb je geschikte gegevens per eenheid of cluster nodig en een onzekerheidsschatting die rekening houdt met de invoeringsopzet.

Callaway en Sant’Anna (2021) beschrijven de methode in Difference-in-Differences with Multiple Time Periods. De gegevens en berekeningen op deze pagina zijn lesmateriaal van VCESR.