Vetenskapen om poker: vad kan vi lära oss av artificiell intelligens?

Den här gången ska vi titta på ett lite annorlunda papper, där författarna försöker utveckla regler för poker med hjälp av djupinlärningsalgoritmer. Efter att ha spelat spelet Claudico och Libratus med artificiell intelligens upptäckte man att den starkaste delen av spelet är lösningen på river-situationer. Författarna till denna artikel har som mål att analysera de beslut som fattas av programmen i river och att skapa begripliga regler.

För detta experiment skrevs två identiska artificiella intelligenser, utan några fördefinierade regler annat än en förståelse för kortets styrka. Sådana förhållanden gör det möjligt att upptäcka nya sätt att lösa pokersituationer, eftersom de inte involverar kunskap från vanliga spelare. Programmen själva lärde sig bara av varandra genom att spela 100 000 Heads-Up No-Limit-spel.

Det är sant att författarna har begränsat spelets möjligheter i viss utsträckning, så slutsatserna bör tas med en nypa salt. Ytterligare begränsningar av spelet var följande:

  1. Händerna analyseras utifrån deras egen och motståndarens styrka i river-situationer i procent (dvs. hur mycket av motståndarens utbud som tas över).
  2. Endast flodsituationer behandlas. Denna begränsning förändrar inte mycket av den första begränsningen.
  3. Endast check/call och check/fold analyseras. Förmodligen den mest förändrande begränsningen, eftersom situationer med donk och raise är uteslutna.
  4. Spelas med en roterande kortlek på 10 kort. Denna begränsning ändrar inte något i princip med avseende på den andra och första begränsningen, utan minskar bara beslutsträdet.
  5. Analys av spel i position.

Efter 100 000 simuleringar observerades det inlärda spelet och presenterades i ett komplext beslutsträd:

Författarna härleder två grundläggande regler från AI-spelet:

  1. Om riverhanden slår motståndarens hand mellan 20% och 80%, brukar man göra en check back eller en liten sizing.
  2. Om river-handen slår 95% av motståndarens händer och motståndaren har minst 10% av mycket starka händer, är spelaren all-in.

Dessa regler är mer lämpade för ett spel med kort stack, men idén kan bibehållas. Att ta ett tunt värde i river ger ofta inte mycket vinst på grund av risken att bli slagen. Om du däremot har åtminstone den näst starkaste handen i river och din motståndare har starka händer i din range i den här situationen, kan du antingen satsa mer än potten eller gå all-in. I spel med mer än 50 BB-stackar kommer du naturligtvis ofta inte att kunna gå all-in.

Några sidopunkter från beslutsträdet - AI går nästan aldrig in i en showdown (necheckbackina) om deras hand inte rör 16%-motståndarens hand. Vanligtvis kommer det bara att vara svaga höga kort. I det fallet kommer de att satsa minst halva potten. I andra situationer väljer AI:n en mycket starkt varierande insatsstorlek. En annan gemensam nämnare kommer bara från ett starkt värde-spel - om det finns en stark hand, finns det nästan alltid åtminstone pot bet sizing.

Naturligtvis finns det många begränsningar för AI, så dessa regler bör inte tas lättvindigt. I de flesta fall kommer vi att spela mot svagare eller medelstarka vanliga spelare, inte mot super-GTO-pokermästare på toppnivå. Dessa regler bör hållas i åtanke, men kom ihåg att exploaterande spel alltid kommer att ge mer vinst.

Var är det bästa stället att spela poker?