Pokera zinātne: ko mēs varam mācīties no mākslīgā intelekta?

Šoreiz mēs aplūkosim nedaudz atšķirīgu darbu, kurā autori mēģina izstrādāt pokera noteikumus, izmantojot dziļās mācīšanās algoritmus. Pēc mākslīgā intelekta spēles Klaudiko un Libratus izspēles tika atklāts, ka spēcīgākā spēles daļa ir upes situāciju risināšana. Šī raksta autoru mērķis ir analizēt programmu pieņemtos lēmumus upē un izveidot saprotamus noteikumus.

Šim eksperimentam tika uzrakstīti divi identiski mākslīgie intelekti bez iepriekš definētiem noteikumiem, izņemot izpratni par kartes spēku. Šādi nosacījumi ļauj atklāt jaunus pokera situāciju risināšanas veidus, jo tie neietver parasto spēlētāju zināšanas. Pašas programmas mācījās tikai viena no otras, izspēlējot 100 000 Heads-Up No-Limit spēles.

Tiesa, autori zināmā mērā ir ierobežojuši spēles iespējas, tāpēc secinājumi jāuztver ar zināmu rezervi. Papildu spēles ierobežojumi bija šādi:

  1. Rokas tiek analizētas atkarībā no to un pretinieka spēka River situācijās procentuālā izteiksmē (t. i., cik liela daļa pretinieka diapazona ir pārņemta).
  2. Tiek risinātas tikai upju situācijas. Šis ierobežojums neko daudz nemaina attiecībā uz pirmo ierobežojumu.
  3. Tiek analizēti tikai check/call un check/fold. Iespējams, tas ir vismainīgākais ierobežojums, jo nav iekļautas donk un raise situācijas.
  4. Spēlē ar 10 rotējošu kāršu komplektu. Šis ierobežojums principā neko nemaina attiecībā uz otro un pirmo ierobežojumu, bet tikai samazina lēmumu pieņemšanas koku.
  5. Analīze par spēlēšanu pozīcijā.

Pēc 100 000 simulāciju veikšanas tika novērota iemācītā spēle, kas tika attēlota sarežģītā lēmumu kokā:

Autori no mākslīgā intelekta spēles atvasina divus pamatnoteikumus:

  1. Ja River kombinācija pārspēj pretinieka kombināciju ar kombināciju no 20% līdz 80%, parasti tiek veikta check back vai mazais sizing.
  2. Ja rivera kombinācija pārspēj 95% pretinieka kombināciju un pretiniekam ir vismaz 10% ļoti spēcīgu kombināciju, spēlētājs ir all-in.

Šie noteikumi ir vairāk piemēroti spēlei ar maziem žetoniem, taču šo ideju var saglabāt. Bieži vien tas, ka upē tiek ņemta maza vērtība, nesniegs lielu peļņu, jo pastāv iespēja tikt pārspētam. Savukārt, ja jums ir vismaz otra spēcīgākā kombinācija uz riveru un jūsu pretiniekam šajā situācijā ir spēcīgas kombinācijas jūsu diapazonā, jūs varat vai nu likt likmi, kas ir lielāka par banku, vai arī iet all-in. Protams, spēlēs, kurās ir vairāk nekā 50 BB žetonu, bieži vien jums nebūs jāiet "all-in".

Daži blakus punkti no lēmumu pieņemšanas koka - AI gandrīz nekad nenonāk uz kāršu atklāšanu (necheckbackina), ja viņa kombinācija nesaskaras ar pretinieka 16% kombināciju. Parasti tās ir tikai vājas augstas kārtis. Tādā gadījumā viņi liks vismaz pusi bankas. Citās situācijās mākslīgais intelekts izvēlas ļoti stipri mainīgu likmju lielumu. Vēl viena kopīga iezīme nāk tikai no spēcīgas vērtības spēles - ja ir spēcīga kombinācija, gandrīz vienmēr ir vismaz bankas likmes izmērs.

Protams, mākslīgajam intelektam ir daudz ierobežojumu, tāpēc šos noteikumus nevajadzētu uztvert vieglprātīgi. Vairumā gadījumu mēs spēlēsim pret vājākiem vai vidēji spēcīgiem parastiem spēlētājiem, nevis pret super-GTO augstākā līmeņa pokera meistariem. Šie noteikumi ir jāpatur prātā, taču atcerieties, ka ekspluatatīva spēle vienmēr nesīs lielāku peļņu.

Kur ir labākā vieta, kur spēlēt pokeru?