Bayes kan gjøre magi!
Har du noen gang lurt på hvordan datamaskiner lærer om mennesker?
Eksempel:
Et internett-søk etter «automatiske skosnøre til film» bringer «Tilbake til fremtiden»
Har søkemotoren sett på filmen? Nei, men den vet fra mange andre søk hva folk sannsynligvis leter etter.
Og den beregner sannsynligheten ved å bruke Bayes «teorem.
Bayes «Teorem er en måte å finne en sannsynlighet når vi kjenner visse andre sannsynligheter.
Formelen er:
P (A | B) = P (A) P (B | A) P (B)
| Som forteller oss: | hvor ofte A skjer gitt at B skjer, skrevet P (A | B), | |
| Når vi vet: | hvor ofte B skjer gitt at A skjer, skrevet P (B | A) | |
| og hvor sannsynlig A er alene, skrevet P (A) | ||
| og hvor sannsynlig B er alene, skrevet P (B) |
La oss si P (Brann) betyr hvor ofte det er brann, og P (Røyk) betyr hvor ofte vi se røyk, da:
P (Brann | Røyk) betyr hvor ofte det er brann når vi kan se røyk
P (Røyk | Brann) betyr hvor ofte vi kan se røyk når det er brann
Så formelen forteller oss «fremover» P (Brann | Røyk) når vi vet «bakover» P (Røyk | Brann)
Bare 4 tall
Tenk deg 100 mennesker på en fest, og du stemmer hvor mange som har på seg rosa eller ikke, og om en mann eller ikke, og får disse tallene:
Bayes «Theorem er basert på bare de 4 tallene!
La oss gjøre noen summer:
Og beregne noen sannsynligheter:
Og så kommer valpen! En så søt valp.
Men alle dataene dine blir revet opp! Bare tre verdier overlever:
- P (Mann) = 0,4,
- P (Rosa) = 0,25 og
- P (Rosa | Mann) = 0,125
Kan du oppdage P (Mann | Rosa)?
Se for deg at en rosa slitesterk gjest legger igjen penger … var det en mann? Vi kan svare på dette spørsmålet ved hjelp av Bayes «Teorem:
P (Man | Pink) = P (Man) P (Pink | Man) P (Pink)
P (Man | Pink ) = 0.4 × 0.1250.25 = 0.2
Merk: hvis vi fremdeles hadde rådata, kunne vi beregne direkte 525 = 0.2
Å være generell
Hvorfor fungerer det?
La oss erstatte tallene med bokstaver:
La oss nå se på sannsynligheter. Så vi tar noen forhold:
- den samlede sannsynligheten for «A» er P (A) = s + ts + t + u + v
- sannsynligheten for «B gitt A» er P ( B | A) = ss + t
Og multipliser dem så slik:
La oss nå gjøre det igjen, men bruk P (B) og P (A | B):
Begge måter får det samme resultatet av ss + t + u + v
Så vi kan se at:
P (B) P (A | B) = P (A) P ( B | A)
Fint og symmetrisk er det ikke?
Det må faktisk være symmetrisk da vi kan bytte rad og kolonne og få det samme øverste venstre hjørnet.
Og det er også Bayes Fo rmula … bare del begge sider av P (B):
P (A | B) = P (A) P (B | A) P (B)
Husker
Tenk først «AB AB AB» og husk å gruppere det slik: «AB = A BA / B»
P (A | B) = P (A) P (B | A) P (B)
Kattallergi?
En av de berømte bruksområdene for Bayes teorem er falske positive og falske negative.
For de har vi to mulige tilfeller for «A», for eksempel Bestått / Ikke bestått (eller Ja / Nei osv.)
Eksempel: Allergi eller ikke?
Hunter sier at hun klør. Det er en test for allergi mot katter, men denne testen er ikke alltid riktig:
- For personer som virkelig har allergi, sier testen «Ja» 80% av tiden
- For personer som ikke har allergi, sier testen «Ja» 10% av tiden («falsk positiv»)
Hvis 1% av befolkningen har allergi , og Hunters test sier «Yes», hva er sjansene for at Hunter virkelig har allergi?
Vi vil vite sjansen for å ha allergien når testen sier «Yes», skrevet P (Allergi | Ja)
La oss få formelen vår:
P (Allergi | Ja) = P (Allergi) P (Ja | Allergi) P (Ja)
Å nei! Vi vet ikke hva den generelle sjansen for at testen sier «Ja» er …
… men vi kan beregne det ved å legge sammen de med, og de uten allergi:
- 1% har allergi, og testen sier «ja» til 80% av dem
- 99% har ikke allergi og testen sier «ja» til 10% av dem
La oss legge til det:
P (Ja) = 1% × 80% + 99% × 10% = 10,7%
Hvilket betyr at omtrent 10,7% av befolkningen vil få et «Ja» -resultat.
Så nå kan vi fullføre formelen vår:
P (Allergi | Ja) = 1% × 80% 10,7% = 7.48%
P (Allergi | Ja) = ca 7%
Dette er det samme resultatet vi fikk på falske positive og falske negative.
Faktisk har vi kan skrive en spesiell versjon av Bayes «-formelen bare for ting som dette:
P (A | B) = P (A) P (B | A) P (A) P (B | A) + P (ikke A) P (B | ikke A)
«A» Med tre tilfeller
Vi så nettopp «A» med to tilfeller (A og ikke A), som vi tok vare på i bunnlinjen.
Når «A» har 3 eller flere tilfeller inkluderer vi dem alle i bunnlinjen:
P (A1 | B ) = P (A1) P (B | A1) P (A1) P (B | A1) + P (A2) P (B | A2) + P (A3) P (B | A3) + … etc
Nå tilbake til søkemotorer.
Søkemotorer tar denne ideen og skalerer den opp mye (pluss noen andre triks).
Det gir dem ser ut som de kan lese tankene dine!
Den kan også brukes til e-postfiltre, musikkanbefalingstjenester og mer.