4 Meginreglur um tilraunatölu

Í meira en tvö ár hef ég verið gagnafræðingur í vaxtarliðinu hjá Airbnb. Þegar ég byrjaði fyrst hjá fyrirtækinu vorum við að gera færri en 100 tilraunir á einni viku; við erum núna með um 700. Eins og við sem erum í vaxtarræktinni vita alltof vel, þá gerist slíkur vöxtur ekki lífrænt. Í staðinn kemur það til með ræktun. Fyrir okkur hefur þetta þýtt ekki bara að byggja upp rétt verkfæri, svo sem innra tilraunaskýrsluramma okkar [ERF], heldur að móta virkan öfluga tilraunamenningu í öllum aðgerðum. Hér tek ég saman fjögur meginreglur sem liggja til grundvallar starfi okkar og hafa leitt til skrefabreytinga á áhrifum tilrauna á viðskipti okkar:

  1. Afurðatilraunir ættu að vera með tilgátur,
  2. Það er lykilatriði að skilgreina réttan „útsettan íbúa“,
  3. Að skilja kraft er nauðsynleg og
  4. Bilun er tækifæri.

Að æfa þessar meginreglur mun ekki aðeins spara skipulagi þínu tonn af tíma og peningum í verkfræði, heldur mun það veita ótrúlega innsýn í notendur þína og vöru.

Tilraunir með vöru Ætti að vera tilgátur- en ekki með eiginleikum

Við erum með ótrúlega hæfileika verkfræðinga hjá Airbnb. Þetta þýðir að það er auðvelt að smíða eiginleika, en það þýðir ekki að það eigi að byggja það, eða að sú vara verður endilega betri vegna hennar. Í vaxtarliðinu hjá Airbnb byrjum við alltaf á spurningunni: „Hvað segja gögnin?“ Ef þú ert ekki að spyrja þeirrar spurningar þá ertu að sækjast eftir ótrúlega óhagkvæmri vöruáætlunarstefnu. Ef þú verður að giska þá leggurðu vagninn fyrir hestinn og ættir að vinna meiri vinnu áður en þú gerir tilraunir.

Af hverju skipta tilgátur máli? Án þeirra ertu óbundinn, auðveldlega afvegaleiddur af því sem virðist vera jákvæður árangur, en gætir vel verið tölfræðilegar flögur. Í þessum aðstæðum er auðvelt að búa til sögu sem passar við niðurstöður þínar öfugt við að leggja þig fram við að skilja hvað er að gerast. Hlutirnir geta komið þér á óvart - láttu þá! Ef það er eitthvað sem við skiljum ekki uppfærum við venjulega tilgátur okkar og bætum við tölum fyrir skýrleika meðan á flugi stendur þar sem tilraunaleiðin okkar fella þær auðveldlega.

Sem dæmi rak lið mitt tilraun með því að nota nýja þýðingaþjónustu á vefnum okkar og innfæddum forritum. Auðvitað gerðum við ráð fyrir að þessi nýja og endurbætta þjónusta myndi auka viðskipti fyrir báða palla. Við sáum að bókun umbreytingar í innfæddur forritum okkar stökk upp í tilraunahópnum en við gátum ekki skilið hvers vegna eitthvað svipað væri ekki að gerast á vefnum. Eftir að hafa velt þessu fyrir okkur komum við fram að þetta stafaði af vörubreytingu hjá öðru teymi þar sem líklegra væri að gestir í innfæddu forritunum okkar notuðu þýðingarþjónustuna en þeir sem eru á vefnum. Við bættum við ráðstöfun fyrir þetta og höfðum rétt fyrir okkur! Hærra hlutfall notenda í tilraunahópnum okkar var að nota þýðingarþjónustu í fyrsta lagi og nýja þýðingarþjónustan okkar hvatti þá til að nota hana oftar. Við gátum ekki greint breytingu á vefhópnum okkar vegna þess að þeir fengu ekki utanaðkomandi lyftu sem innfæddur hópur hafði. Að læra þetta opnaði okkur allt svið stefnumótandi tækifæra. Ef við hefðum ekki uppfært tilgátur okkar, hver veit hvar við hefðum endað.

Að skilgreina rétta „óvarða íbúafjölda“ er sambærilegt

Ekki ráðast bara í lögun eða setja upp tilraun og bíða eftir að töfrabresturinn gerist. Í fleiri tilvikum en ekki verður enginn galdur. Þetta þýðir ekki að þú sért ekki ógnvekjandi, en er áminning um að starf okkar er erfitt. Eitt svæði þar sem ég hef séð óteljandi teymi berjast við tilraunir er að skilgreina þá íbúa sem verða óvarlega. Hópurinn sem er óvarinn skilgreinir hverjir ættu að sjá eiginleika og hverjir ekki, og er aðgreindur frá útsetningarhlutfallinu, sem ákvarðar hve mikill hluti útsettra íbúa á að taka með í tilraunina þína.

Til dæmis vildi teymið mitt setja af stað skjáþýðingaraðgerð fyrir gesti sem tala annað tungumál en gestgjafinn, með þá tilgátu að þessi aðgerð myndi bæta umbreytingu í bók. Það er nógu auðvelt að ákvarða tungumál en það er ekki nóg. Ef við kynnum þennan möguleika fyrir alla gesti sem senda skilaboð og tala annað tungumál en gestgjafinn, værum við að ofreyna tilraunina okkar - vegna þess að ekki allir gestir sem senda skilaboð eru að gera það til að bóka. Sumir eru á ferð og þurfa að spyrja hvar handklæðin eru. Aðrir kunna að hafa skilið eftir hleðslutæki og vildu að hann skilaði sér. Þó að þetta kann að virðast einfalt, þá verður þú hissa á því hversu oft þetta er hægt að setja yfir eða jafnvel hunsað, þar sem það kemur oft í veg fyrir þekkingu á forritaskilum fyrirtækisins. Fyrir vikið er fyrsta spurningin sem ég spyr þegar ég spjalla við verkfræðing til að skilja hvað er að gerast í tilraun er einföld: „Hvenær verður útsetning og hvernig er hún ákvörðuð?“. Láttu fólk draga það út fyrir þig ef þörf krefur. Þetta samtal greiðir arð fyrir báða aðila síðar. (Ef þeir viðurkenna að það gæti verið of mikil vinna að afhjúpa notendur almennilega, ýttu fyrst til baka og sjáðu síðan Hail Mary valkostinn hér að neðan.)

Heilbrigðismælingar geta verið gagnlegar hér. Ef tilraun þín er takmörkuð við núverandi notendur skaltu bæta við nokkrum mælikvörðum sem benda til þess hvort það séu til notendur (gestir) í tilrauninni eins og skráningar. Ef þú sérð verulegan fjölda skráninga gerast í tilraun þinni, ertu líklega ekki að afhjúpa það rétt. Önnur viðbrögð eru að reikna út alþjóðlega umfjöllun fyrir tölur þínar. Ef þú býst við að heill íbúi sjái eiginleikann þinn skaltu staðfesta að það sé það. Of mikil útsetning mun þynna tölur með afleiðingar fyrir afl. Það er mjög hræðilegt að smíða frábæra eiginleika en ekki geta greint áhrif þess!

Hail Mary: Ef þú getur ekki afhjúpa tilraunina þína nákvæmlega skaltu ganga úr skugga um að þú hafir leið til að bera kennsl á notendur sem ættu ekki að vera með í tilrauninni og slepptu þeim á greiningarstiginu. Á Airbnb gerum við þetta með því að hlaða upp „útilokunartöflu“ í tilraunaleiðsluna okkar, sem felur í sér alla notendur sem ætti að sleppa úr greiningunni vegna óviðeigandi útsetningar. Það getur stundum verið ótrúlega íþyngjandi að bera kennsl á þessa notendur. Ef þú vinnur þessa vinnu skaltu ganga úr skugga um að deila þessu með félögum þínum þar sem það er í þágu alls teymis þíns að skilja gögn áskorana og leysa þau á stigstærðan hátt.

Að skilja máttinn er nauðsynlegur

Kraftur ákvarðar getu þína til að greina áhrif í tilraun þinni ef það er til. Þú ættir ekki að vera að gera tilraunir ef þú skilur þetta ekki. Þú getur og ættir að gera betur en að giska á.

Þrjár tillögur:

  1. Fáðu vit fyrir grunnhlutfalli áður en þú byrjar tilraun með sögulegum gögnum. Án grunnhlutfalls ertu í meginatriðum myrkrinu um hvort þú getir raunverulega greint áhrif frábæra eiginleikabreytingarinnar.
  2. Fara stór eða fara heim nema þú sért að vinna að eiginleikum sem þú skilur að innan og utan. Ekki setja eitthvað af stað ef þú heldur ekki að það muni færa nálina. Þetta er sérstaklega mikilvægt ef þú ert ekki viss um grunnhlutfall. Eini grunnhraði er gríðarlegur, eina leiðin til að greina breytingar er að gera til stórra sem munu færa tölur á meiriháttar hátt.
  3. Mundu að tilraunir eru ekki eina leiðin til að læra hluti um notendur þína. Bara vegna þess að þig skortir kraft og því ætti ekki að keyra stjórnaða tilraun þýðir ekki að leikurinn sé búinn. Á Airbnb vinnum við náið með teymi vísindamanna og könnunarfræðinga sem vinna nýjar og ígrundaðar vinnu við hegðun notenda. Sjáðu vísindamenn sem félaga: innsýn þeirra getur verið mjög brú sem teymið þitt þarf að skilja notendur þína til að þróa virkilega áhrifamikinn eiginleika.

Bilun er tækifæri: Notaðu það

Það er stundum freistandi að nota tilraunir sem leið til að sanna að þú getir fært tölfræði og ef (hvenær) þú gerir það ekki skaltu halda áfram (til annarrar ógnvekjandi hugmyndar um tunglskot). Þú ættir að vera að flytja tölur og þegar þú gerir það ættir þú að geta sýnt það. En ef þú einbeitir þér aðeins að sigrunum, þá muntu sakna tonna af innsæi og hætta að vera blindur á mistökum.

Tilraunir mistakast ekki - tilgátur eru sannaðar

Þegar þetta gerist skaltu gera þér það að verkum að skilja hvers vegna. Nokkrar spurningar til að koma þér af stað eru:

  • Var tilgátan röng eða var framkvæmd / framkvæmd tilgátunnar gölluð? Við byrjum venjulega á því síðarnefnda og leggjum leið okkar til þess fyrra. Starf okkar er flókið, oft á þann hátt sem er ekki full skilningur hvers og eins. Þetta þýðir að við gerum ekki alltaf rétt í fyrsta skipti. Ef þú ert að bæta við eiginleika sem þú tilgátur að hafi áhrif á umbreytingu í downstream, skaltu ekki bara leita að breytingum á viðskiptum - þú gætir ekki séð neinn þar sem aðgerðin þín virkar kannski ekki eins og til var ætlast. Ein auðveld leið til að prófa þetta er að ganga úr skugga um að þú hafir skráð þig inn á þá eiginleika sem þú ert að prófa. (Þetta er ástæðan fyrir því að allir góðir gagnafræðingar munu þrýsta á um rétta skógarhögg áður en þeir ræsa - við getum ekki mælt hluti sem eru ekki til.)
  • Eru tölfræðin að færast saman á þann hátt sem ég myndi búast við? Trektar fylgja fyrirsjáanlegu mynstri. Ef andstreymismælingar styðja ekki downstream mæligreyfingu þína, þá ættirðu að hafa góða skýringu á því. (Með því að ýta á framhliðina eru gæði frábærs framleiðslustjóra.) En hafðu í huga staðfestingar hlutdrægni - flest okkar eru hvött til að staðfesta að störf okkar hafi áhrif. Af þessari ástæðu reynum við á Airbnb að gera það að venjulegri félagsskap tilrauna okkar með bæði óformlegum innritun og tveggja vikna tilraunaúttektum, þar sem teymi kynna í kennslustundum af tilraunum. Því fleiri sem heyra fundinn þinn, því meiri álit færðu um það. Þetta ferli mun prófa þig og liðið þitt á allar réttu leiðir.
  • Er ég að prófa nógu djarfar tilgátur? Þér mun líklega finnast þú ógnvekjandi ef tilgátur þínar eru stöðugt bornar upp. En vertu varkár! Ekki lenda í staðbundinni hámörkun hagræðingar. Haltu áfram að ýta.

Það er til námsferill hér. En eins og flestir hlutir, þá verður það auðveldara. Það er ótrúlegt hvað þú getur lært með því að byrja reglulega frá forvitni stað.

Niðurstaða

Tilraunir eru vinnusamar. Háþróað tilraunartæki er einmitt það - tæki. Það vinnur ekki af eigin raun. Það skilur eftir okkur öll sem gerum tilraunir með ótrúleg tækifæri til að móta þau fyrirtæki sem okkur þykir vænt um.

Ráðabrugg? Við erum alltaf að leita að hæfileikaríku fólki til að taka þátt í Data Science og Analytics teyminu!