Ráðgjöf: Að endurreisa ábendingar um röðun Foursquare-röðunar

Eftir: Enrique Cruz

Á Foursquare leggjum við metnað okkar í að styrkja samfélag okkar til að kanna heiminn í kringum þá. Neytendaforritið okkar, Foursquare City Guide, er staðsetningarmiðuð meðmælavél og rannsóknarforrit. Ein aðal aðgerð fyrir notendur okkar er að skrifa ráð (eða stutt, opinber óskýring á texta) sem er fest við vettvang sem oft þjónar sem skjótur endurskoðun eða uppástunga. Í gegnum árin hafa notendur Foursquare skrifað meira en 95 milljónir ábendinga. Þrátt fyrir að þessi ráð séu dýrmæt, veita þau mikið af upplýsingum fyrir notendur til að sigta í gegnum. Þetta er ástæðan fyrir því að ákvarða hvaða ráð eru „betri“ en önnur fyrir tiltekinn vettvang er mikilvægt verkefni í vistkerfi Foursquare appsins.

Fyrir nokkrum mánuðum lögðum við upp nýja stefnu okkar um að velja bestu ráðin fyrir ákveðinn vettvang. Nýja röðunarlíkanið okkar bætir mjög við fyrri aðferðir okkar og nýtir samhengi, textatengd og félagsleg merki, sem gerir okkur kleift að velja ráðin sem veita notendum okkar upplýsandi, viðeigandi og hágæða innihald. Í þessari færslu munum við fara yfir nýja aðferðafræði okkar sem og hvernig kynning líkansins skilaði verulegum jákvæðum árangri mældar með ýmsum A / B prófum í mismunandi tilvikum.

Fyrri nálgun

Sögulega séð hefur Foursquare notað nokkrar mismunandi leiðir til að flokka og velja bestu ráðin á vettvangi - en okkur fannst enginn þeirra fullnægjandi á eigin vegum.

Við skulum ræða nokkrar af áberandi röðunaraðferðum sem áður voru notaðar og fara yfir áskoranir þeirra:

Vinsældir: Þetta er mælikvarði á jákvæð samskipti sem ábending hefur safnað síðan hún var stofnuð, svo sem „ummæli“. Almennt hefur tilhneigingu til að sýna efni sem er viðeigandi eða gagnlegt fyrir notendur að greiða frekar fyrir efni sem er gamalt eða gamalt, sem leiðir til endurgreiðsluferlis þar sem mjög stiguð ráð eru meira áberandi (þannig öðlast enn meiri vinsældir). Með því að sýna gömul ráð stöðugt getur það orðið til þess að forritin okkar virðast úrelt og tekst ekki að nýta mjög virkt notendasamfélag sem við höfum sem veitir okkur stöðugt nýjar ábendingar.

Tíðni: Þetta er mælikvarði á tímann sem liðinn er síðan oddurinn var stofnaður. Þessi mæling vinnur frábært starf við að sýna fram á sveiflur Foursquare samfélagsins, en samt er engin ábyrgð á gæðum eða mikilvægi.

Okkar glansandi, nýi tip ranker

Fyrir nýja ábendingatækið okkar, vildum við byggja á árangri fyrri aðferða og þróa kerfi sem jafnaði ekki aðeins vinsældir og nýleika, heldur gerði okkur einnig kleift að taka þátt í öðrum blæbrigðum sem hjálpa til við að greina slæmt ábending frá frábæru.

Til viðbótar við vinsældir og tíðni eins og skilgreint er hér að ofan, tókum við eftirfarandi eiginleika við í hinu endurbættu ábendingaöðunarlíkani:

Tákngreining: Þetta er tungumálaflokkun smíðuð með því að nota safn af opnum hugbúnaði og heimavaxnum lausnum til að forðast að þjóna ráð á tungumálum sem notandi skilur ekki.

Innihaldsríki: Þetta eru nokkur merki sem rekja fleiri almenn eiginleika og lýsigögn um þjórféinn umfram raunverulegar upplýsingar sem finna má í oddanum sjálfum. Meðal þessara þátta er tilvist eða fjarvera ljósmyndar, tenglar við ytri heimildir, svo og fjölda orða sem ábendingin inniheldur.

Traust höfunda: Þetta eru tölfræði höfunda eins og starfstími sem Foursquare City Guide notandi, heildar vinsældir og aðrar samanlagðar staðreyndir um áður skrifaðar ráðleggingar notandans. Þessi merki reyna að fanga áreiðanleika notanda sem ráðgjafa.

Alheimsgæði: Þetta er sett af stigum frá ýmsum tölfræðilegum flokkum sem eru þjálfaðir til að bera kennsl á sérstaka eiginleika, svo sem tilfinningu ábendinga (þjálfað með því að nota skýr „like“ og „dislike“ einkunn) sem notandi lét í té fyrir vettvang á sama dag og ábendingin var skrifuð. Náttúruleg málvinnsla (NLP) er síðan notuð til að læra hvaða orð og orðasambönd best spá fyrir um hvern flokk ábendinga. Hvað varðar líkurnar á því að tilkynnt sé að ábending sé sem ruslpóstur - þetta er þjálfað með því að skoða fyrri ráð sem greint er frá sem ruslpósti og læra þá eiginleika sem best tengjast þessu.

Að setja nýju aðgerðirnar í vinnuna og safna þjálfunargögnum

Til þess að þjálfa líkanið okkar með því að nota þessa nýju eiginleika, bjuggum við til nokkur þjálfunargögn með því að nýta núverandi mannfjöldasöfnunarpalla. Til að safna gögnum okkar ákváðum við fyrst 1000 vinsælustu vettvangana eftir notendaskoðun og héldum til að taka 100 afbrigði af ráðum af handahófi af hverjum þessum stöðum. Eftir að hafa gert grein fyrir nokkrum tungumálasíun og afritun af þessu leiddi þetta gagnapakk af 75.000 þjórfépar.

Við bjuggum síðan til merki fyrir þessi gögn með því að hanna starf á mynd átta (áður CrowdFlower, fjölmennur vettvangur fyrir verkefni svipuð Amazon Mechanical Turk) þar sem dómurunum yrði sýnt ábending par úr sýnishorninu okkar við hlið viðkomandi vettvangs. Dómararnir voru síðan spurðir spurningarinnar: „Ef þú værir eins og er á þessum vettvangi eða íhugar að heimsækja þennan vettvang, hver af eftirfarandi innihaldsefnum er upplýsandi?“ Við hönnuðum prófið þannig að ráðin yrðu sýnd í svipuðu samhengi og þau birtast í City Guide appinu, þar sem dómarar okkar verða fyrir sömu samhengisupplýsingum sem hafa áhrif á það hvernig raunverulegir notendur okkar skoða ábendingu. Útkoman á myndinni Átta starfið skilaði um 50.000 merktum pörum af ráðleggingum sem við skiptum í þjálfunar- og matsgögn.

Til að þjálfa nýja ábendingaáskriftina okkar könnuðum við ýmsar reiknirit, þar á meðal LambdaMART, Coordinate Ascent og RankBoost. Eftir að hafa lagt mat á niðurstöðurnar leystum við okkur af því að nota SVMrank (útfærslu stuðningsvektorvéla) sem umsjónarmenntunaralgrím okkar. Markmið okkar var að lágmarka fjölda óeðlilegra para af ráðum í ljósi fjölmennra þjálfunarmerkja okkar.

Þegar við ítrekuðum og stilltum nýja stigarann ​​okkar, metum við árangur hans gagnvart „haldið úti“ gagnapakka og berum það saman við nokkrar grunngildi. Við metum einnig flokkana eigindlega með nýju hliðarhlið tól til að skoða bestu ráðin fyrir vettvang sem hver líkan hefur valið.

Í loka líkaninu, Tip Ranker með textareiginleikum, voru þetta eiginleikar með mesta þyngd:

  • Lengd ábendingar og fjöldi tákna
  • Viðvera ljósmyndar
  • Jákvætt viðhorf
  • Tíðni

Eiginleikarnir með minnsta forspárstyrk reyndust vera:

  • Vinsældir
  • Samantekin tölfræði höfundar

Niðurstöður og umsóknir A / B prófana

Eftir hvetjandi árangur nýþjálfaðs ábendinga á gagnapakkanum, fórum við með líkanið í framleiðslu til að nota á allt vettvangskorpus okkar og skuldsettum það í ýmsum snertipunktum innan vistkerfisins Foursquare. Hér að neðan eru nokkur af þeim stöðum sem við gerðum tilraunir með nýja stöðuna og niðurstöðurnar frá því að keyra A / B próf með 50% skiptingu af notendagrunni okkar.

  • Forrit “At a Venue Ping”: Þegar við finnum að notandi er á ákveðnum vettvangi með ákveðnar líkur, þá sendir Foursquare notandanum ping sem inniheldur besta ráðið (sem notandinn hefur ekki áður séð) fyrir vettvanginn. Þetta var áður ákvarðað með því að nota eingöngu alþjóðlegu gæðaeiginleikana sem fóðraðir í handahófi skógarmódel til að skora, flokka og sía frambjóðendur.
  • Niðurstaða: Nýja flokkarinn okkar skilaði umtalsverðum endurbótum á samanburðarhópnum sem leiddi til 1,5% aukningar á smellihlutfallinu en gerði okkur einnig kleift að senda 32% fleiri ábendingar með því að fjarlægja nokkrar kvarðaðar síur sem til voru vegna skorts á sjálfstrausti í fyrri valaðferð. Ennfremur leiddi tilraunahópurinn til 5% aukningar á virkni daga kjarnaaflsins.
Sýnishorn á vettvangi Ping knúið af Tip Ranker
  • Forrit „Innritun innritunar“: Þegar notendur okkar kíkja inn á annað neytendaforritið okkar, Foursquare Swarm, sýnum við ákveðin efnisyfirlit fyrir þann stað sem notandinn nýlega kíkti á. Meðal þeirra er Foursquare City Guide ábending fyrir vettvanginn og uppselt til að skoða öll ráð ef þeir hafa Foursquare City Guide forritið sett upp (eða hlaðið því niður á annan hátt). Áður var þetta ráð valið eingöngu á félagslegum merkjum.
  • Niðurstaða: A / B prófið með nýju gerðinni sá umtalsverða aukningu á öllum aðgerðum tengdum ábendingum (svo sem „líkar“, ábendingum og myndum) sem og 1% virka notendahækkun notenda fyrir Foursquare City Guide vegna fleiri notendur velja að smella á uppsöluna.
Sýnishorn eftir innritun innsýn Powered by Tip Ranker
  • Forritið „Venjulegur staða síða sjálfgefinn flokkur“: Þegar sýning á staðarsíðu sýnum við lista yfir bestu ráð vettvangsins á hápunktarflipanum. Þetta hefur áður verið sjálfgefið með því að nota jákvæð félagsleg merki fyrir ráðin. Við keyrðum A / B próf flokkað eftir vettvangi til að mæla allar SEO breytingar.
  • Niðurstaða: Þó að innskráða útgáfan af tilrauninni skilaði engum marktækum árangri, leiddi SEO útgáfan til 2,40% lyftu í heildarvísun umferðar á heimsvísu. Við komumst að því að þetta hafi aðallega verið drifið áfram af vali rankarans fyrir efni sem var lengra, innihélt fleiri myndir og var skrifað nýlega.

Framtíðarvinna og mögulegar framlengingar

Það eru nokkur starfssvið eftir til að kanna sem gætu skilað frekari endurbótum á því hvernig við veljum ráð með því að fella nýja eiginleika í líkanið.

Sum þeirra eru:

  • Neikvæð félagsleg merki: Á þeim tíma sem líkanið var smíðað veitti Foursquare City Guide aðeins notendum leiðir til að „líkja“ við og vista ábendingu eða flagga það sem ruslpóst. Síðan þá höfum við kynnt nýtt samspil til að fella niður ábendingu, í framtíðinni væri fróðlegt að endurliða líkanið með þessu nýja merki til að sannreyna hvort það hefur einhver spákraft.
  • Viðhorf til mats samsvörun: Fyrirmyndin kýs yfirgnæfandi ráð með jákvætt viðhorf. Þó að þetta sé gagnlegt, þá vekur það nokkra dissonance þegar vettvangur er með lága einkunn en samt eru helstu ráðin jákvæð. Framlenging á þessari vinnu getur raðað ábendingum til að sýna tilfinningardreifingu sem endurspeglar betur einkunn vettvangsins og undirliggjandi dreifingu atkvæða.

Þegar öllu er á botninn hvolft er mikilvægt að við metum stöðugt hvernig við vinnum, fylgjumst með og sýnum endurgjöf notenda - sem stuðlar að virkum notendagrunni okkar og innstreymi af staðbundnum innsýn. Með því að greina aðferðir fyrri tíma og gera tilraunir með nýja tækni getum við þjónað samfélaginu með verðmætustu upplýsingum sem mögulegt er.

Fyrir frekari upplýsingar um verkfræðistörf okkar, fylgdu Foursquare Engineering on Medium og fylgdu með starfstækifæri okkar.