Mesurer l’incrémentalité avec le RDP incrémentiel
Chaque annonceur veut savoir : « Lorsque je dépense un dollar en publicité, qu’est-ce que j’obtiens en retour? »
Pour les annonceurs sur DoorDash, cette question peut être formulée précisément ainsi : « Combien de dollars de ventes est-ce que je génère pour chaque dollar de publicité acheté? »Nous répondons à cette question en fournissant une « étude d’impact » qui permet de mesurer l’ampleur de l’incrémentalité de vos dépenses publicitaires, ou le rendement incrémentiel des dépenses publicitaires (RDP incrémentiel).
Et désormais, grâce aux annonces fantômes, les annonceurs de DoorDash obtiennent des études d’impact plus précises, des intervalles de confiance plus étroits et une plus grande confiance envers le RCI. Cela signifie des décisions d’investissement plus éclairées et une plus grande certitude quant à la valeur de chaque campagne.
Aller au-delà des expériences en intention de traiter
Avant les annonces fantômes, la norme de l’industrie pour mesurer l’impact était l’essai contrôlé randomisé (ECR) en intention de traiter (ITT). Dans ces expériences, dès qu’une enchère commence, les comptes d’utilisateurs admissibles sont assignés au hasard soit à un groupe de traitement, qui peut voir la publicité, soit à un groupe témoin, qui ne la voit pas. Le groupe témoin est ensuite retiré de l’enchère, et son comportement ultérieur est comparé à celui du groupe de traitement qui a vu la publicité.
Le problème est que l’ITT compare les comptes d’utilisateurs en fonction de leur admissibilité à l’enchère, et non selon qu’ils ont réellement vu la publicité ou non. En pratique, de nombreux comptes d’utilisateurs « traités » ne voient même pas les publicités en raison de l’emplacement de la publicité sur la page parmi le contenu organique. Cela dilue le signal de mesure, ce qui rend plus difficile l’évaluation avec certitude de l’incrémentalité.
Pour les annonceurs, cela signifie que l’ITT sous-estime souvent le RCI réel de vos campagnes.
Annonces fantômes : une meilleure approche
En 2017, Google et Amazon ont été les pionniers de la technique des annonces fantômes, qui nous permet de cerner avec précision des populations équivalentes de comptes d’utilisateurs dans les groupes témoin et de traitement d’une expérience d’impact :
Comptes d’utilisateurs du groupe de traitement : ceux qui ont réellement vu la publicité (d’après les données d’impression).
Comptes d’utilisateurs du groupe témoin : ceux qui auraient vu la publicité si elle avait été affichée (d’après les impressions d’annonces fantômes).
Au lieu de retirer les comptes d’utilisateurs témoins des enchères, les deux groupes bénéficient des mêmes emplacements. Pour les comptes d’utilisateurs témoins, la publicité est remplacée par du contenu organique (une « annonce fantôme ») et les impressions sont mesurées sur ce contenu.
Cela rend les études d’impact plus équitables, plus précises et plus fidèles à l’expérience réelle des utilisateurs. Chez DoorDash, cette méthodologie alimente désormais les études d’impact des annonces commanditées, permettant aux annonceurs de mesurer l’incrémentalité avec une précision bien supérieure à celle d’auparavant.
(d’après Johnson et al.)
Prendre en charge les annonces fantômes chez DoorDash
La mise en œuvre des annonces fantômes représente un défi pour les plateformes publicitaires, car la logique d’affaires doit demeurer « équitable » tant pour le groupe de traitement que pour le groupe témoin, même si les comptes d’utilisateurs de DoorDash au sein de ces groupes font l’expérience de la plateforme de manière différente.
Afin de concevoir une mise en œuvre équitable des annonces fantômes chez DoorDash, notre équipe s’est concentrée sur trois principes :
Les enchères doivent inclure les annonces fantômes, mais ne peuvent pas pénaliser les vraies publicités.
Les annonces fantômes doivent être combinées au contenu organique tout comme les vraies publicités.
Des contrôles automatisés doivent vérifier l’absence de régressions qui pourraient introduire des biais.
Enfin, nous avons évalué l’équité en vérifiant si les groupes de traitement et témoin recevaient des impressions au même rythme (garantissant ainsi que notre mise en œuvre était à la fois précise et robuste).
Enchères
Pour préserver l’équité, notre mise en œuvre veille à ce que les annonces fantômes participent aux enchères, mais les vraies publicités ne misent jamais contre des fantômes. Les comptes d’utilisateurs de traitement de DoorDash ne sont sélectionnés qu’une fois que nous savons que la publicité aurait remporté un emplacement à l’enchère.
Nous automatisons la vérification des biais aux enchères par l’intermédiaire de notre plateforme d’expérimentation. La plateforme enregistre chaque fois que le groupe de traitement d’un consommateur est évalué, et des tests statistiques standard s’exécutent automatiquement pour détecter les biais d’expérimentation à l’étape de l’enchère.
À retenir : les annonces fantômes participent aux enchères, mais les vrais annonceurs ne misent jamais contre des fantômes.
Combinaison de contenu
DoorDash a dû composer avec une grande complexité au sein de ses algorithmes de combinaison pour prendre en charge équitablement les annonces fantômes pour de nombreuses expériences simultanées. Nos algorithmes de combinaison visant à associer les publicités au contenu organique s’efforcent de maintenir les annonces pertinentes et complémentaires pour les comptes d’utilisateurs de DoorDash. Par exemple, les publicités ne doivent pas reproduire le contenu organique environnant et doivent être pertinentes par rapport à la surface organique (p. ex., un carrousel « Soirée en amoureux autour d’un repas thaïlandais » ne peut pas contenir une annonce commanditée pour du poulet frit).
Comme la combinaison est sensible au temps de latence, nous avons créé un système de vérification en temps réel qui recompose de manière asynchrone le contenu pour l’état contrefactuel de chaque expérience, afin de cerner les situations où nous avons placé une annonce fantôme là où une publicité de traitement ne se serait pas trouvée, ou l’inverse. Une fois la réponse combinée transmise au consommateur, nous analysons itérativement chaque campagne combinée et recherchons ces anomalies une par une. Cette approche nous permet d’être alertés en temps réel lorsqu’un biais dépasse les seuils acceptables.
À retenir : les annonces fantômes sont combinées au contenu organique de la même manière que les vraies publicités, ce qui garantit leur pertinence et évite les doublons.
Détection des biais
Nous mesurons la qualité de notre mise en œuvre des annonces fantômes en comparant les taux d’impression entre le groupe de traitement et le groupe témoin. En accordant une attention méticuleuse à la manière dont les publicités franchissent l’étape de l’enchère et de la combinaison, nous constatons de manière constante un écart de moins d’un demi-pour cent entre les taux d’exposition cibles des consommateurs et les chiffres réels.
Par exemple, une expérience divisant les comptes d’utilisateurs de DoorDash selon une répartition traitement/témoin de 80/20 pourrait afficher 80,3/19,7 lorsque la population est restreinte aux seuls comptes d’utilisateurs de DoorDash ayant des impressions de publicités réelles ou fantômes. Des analyses statistiques plus approfondies (p. ex. covariance et impact sur les taux de conversion) montrent que ce niveau de biais n’a pas d’incidence significative sur les résultats expérimentaux.
À retenir : les contrôles automatisés enregistrent chaque évaluation et exécutent des tests statistiques en temps réel pour prévenir les biais d’expérimentation.
En pratique : annonces commanditées
Sur DoorDash, les annonces fantômes sont déployées pour les annonces commanditées.
Lors de la réalisation d’une étude d’impact actuelle, un consommateur du groupe de traitement pourrait voir un carrousel où Panino e Basta apparaît au premier emplacement, tandis qu’un consommateur témoin voit le même carrousel dans lequel Panino e Basta est remplacé par un autre commerce comme Liberty Baking & Roastery.
Lorsque nous constatons une impression sur Liberty Baking & Roastery, nous savons que le consommateur aurait enregistré une impression sur la publicité de Panino e Basta à la même position, moyennant quelques hypothèses minimales quant au comportement de défilement du consommateur. Cela garantit que l’incrémentalité est mesurée uniquement auprès des comptes d’utilisateurs de DoorDash qui ont réellement été exposés ou qui auraient été exposés à la publicité.
Redéfinir la mesure publicitaire sur DoorDash
Les annonces fantômes représentent la nouvelle norme de l’industrie pour la mesure de l’incrémentalité, et DoorDash est fière d’intégrer cette innovation à sa gamme d’offres. D’après nos études récentes, nous avons constaté que les annonces fantômes ont réduit la dilution de l’expérimentation de 92 % et amélioré les intervalles de confiance de l’iROAS de 35 %.
En assurant l’équité, en réduisant les biais et en resserrant les intervalles de confiance, nous offrons aux annonceurs une plus grande clarté sur ce que leurs dépenses publicitaires génèrent.
À noter
DoorDash mesure les impressions standards, et les seuils de visibilité varient selon l’appareil. DoorDash Ads s’efforce d’obtenir l’accréditation MRC. (Plus de détails)
Citations
Johnson, Garrett and Lewis, Randall A. and Nubbemeyer, Elmar, Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness (12 janvier 2017). Garrett A. Johnson, Randall A. Lewis, Elmar I. Nubbemeyer (2017) Ghost Ads: A Revolution in Measuring Ad Effectiveness Journal of Marketing Research, 54(6) : 867-884. , Simon Business School Working Paper n° FR 15-21, accessible sur SSRN : https://ssrn.com/abstract=2620078 ou http://dx.doi.org/10.2139/ssrn.2620078
