Человек против компьютера в покере

Новые возможности для людей или восстание машин?

Технологии непрерывно развиваются, и то, что еще 10 лет назад казалось невозможным, сегодня становится привычным и каждодневным. Мы даже не задумываемся о том, какой путь был проделан человечеством и сколько людских усилий было вложено для того, чтобы мы с вами имели возможность пользоваться тем, чем пользуемся. Это относится и к покеру Техасский Холдем – со стремительным развитием возможностей искусственного интеллекта и компьютерных технологий за последние 10 лет обучаться игре в покер стало легче, чем когда-либо ранее. Но хорошо ли это? К каким результатам это привело в современном покере? Какие «побочные эффекты» случились по ходу?

С чего все начиналось

Несмотря на то, что сайт у нас о покере, начать повествование хотелось бы с другой игры. С шахмат. Многие профессиональные покеристы неплохо играют и на досках без карт, но с фигурами. Актуально и обратное – некоторые шахматисты неплохо преуспели в покере. Причиной тому служат, скорее всего, некоторые аналогии в двух играх и схожие требования к качествам и навыкам человека. В шахматах нужно просматривать ветви развития партии, просчитывать свои ходы и ходы соперника наперед. В покере тоже нужно понимать, какие руки есть в диапазоне того или иного действия соперника, как он будет играть с ними на всевозможных флопах, тернах, риверах.

Первыми мотивами для компьютеризации шахмат было желание развлечься, создать программы для компьютерных шахматных турниров и провести научное исследование, которое позволило бы глубже понять познавательную способность человека. В 1957 году Алексом Бернштейном была создана первая программа для игры на стандартной шахматной доске и при участии всех фигур.

От первых попыток к созданию шахматной программы, которая могла на равных соперничать с лучшими шахматистами, прошло менее пятидесяти лет. Первой машиной, которая достигла уровня шахматного мастера, была Belle, законченная в 1983 году Джо Кондоном и Кеном Томпсоном. Ее официальный рейтинг Эло был 2250 – это уровень крепкого гроссмейстера.

В 1994 году Гарри Каспаров проиграл программе Fritz 3 турнирную блиц-партию в Мюнхене. Программа также выиграла у Вишванатана Ананда, Бориса Гельфанда и Владимира Крамника. Гроссмейстер Роберт Хюбнер отказывался играть против программы и автоматически проиграл. Каспаров сыграл второй матч с Fritz и победил с четырьмя выигрышами и двумя ничьими.

Молодой Гарри Каспаров, признанный мастер и гроссмейстер, в игре против компьютерного оппонента

Начиная с 2000-х годов, даже сильнейшие игроки не имеют никаких шансов в противостоянии с шахматными программами. Теперь же, поняв, что в борьбе с компьютерными соперниками у человека нет шансов, шахматисты используют эти программы для обучения: смотрят и запоминают, как и в каких ситуациях компьютер играет так или иначе, а затем используют эти знания на турнирах.

Покерные боты

С компьютерными программами по игре в покер происходило примерно то же самое. Игра годами наращивала свою популярность среди людей и в конце концов привлекла внимание создателей искусственного интеллекта.

Полагаю, что покерные боты существовали и раньше, до того, как ими заинтересовались профессионалы в создании ИИ. Только вот отсутствие в них достаточного количества знаний или алгоритма самообучения делало из ботов весьма посредственных игроков. Грубо говоря, они работали по принципу «в такой-то ситуации всегда делай так, а в другой всегда иначе». Должен был быть прописан код либо загружена большая база рук других успешных игроков, которая использовалась бы как пример для каждой конкретной ситуации.

Но вернемся к серьезным разговорам о действительно крутых и сильных ботах. В первой половине 2015 года прошел матч между топовыми онлайн-регулярами в хедз-ап игре и лучшего на тот момент покерного бота Claudio, разработанного профессорами университета Карнеги-Меллон. Эксперимент проводился для того, чтобы узнать, способна ли программа обыгрывать в покер лучших регуляров.

В команде людей находились Дуглас Полк, Донг Ким, Бьорн Ли и Джейсон Лес.

Джейсон Лес, Дуглас Полк, Бьорн Ли, Донг Ким и создатель покерного бота Claudio – Тумас Сандхольм

Тогда им удалось победить компьютерного оппонента суммарно за 80,000 раздач. Разработчики Claudio подытожили матч словами о том, что люди имели не очень большое преимущество перед их детищем, и удалились для усовершенствования программы. Ученые заявили, что после доработки и изменения некоторых настроек бот будет играть на равных с покеристами самого высокого уровня.

И через некоторое время опасения многих профессионалов покерного дела подтвердились.

В 2017 году увидел свет очередной покерный бот, созданный все теми же учеными из университета Карнеги-Меллон – Libratus («баланс»). Он является наследником программы Claudio. Ученые поменяли свой подход в обучении программы. В этот раз они просто заложили в нее правила покера: силу комбинаций, правила выхода общих карт и последовательность ходов. После чего отправили программу играть саму с собой триллионы раздач.

С течением времени компьютер научился понимать, какие действия плюсовые, а какие – нет. Как уверяет Тумас Сандхольм, один из двух создателей бота, программе никогда не показывали историю раздач, сыгранных людьми.

Был назначен очередной матч между программой и человеком. На этот раз была собрана команда из четырех профессионалов, заработавших в покере миллионы. Джимми Чу, Дэниэл МакАлэй, Донг Ким и Джейсон Лес, все специалисты по игре один на один – именно они отстаивали честь человечества в борьбе против машин. Последние двое за два года до этого участвовали в матче против Claudio, когда тот был повержен. Матч длился 20 дней, каждый день все покеристы играли по 12 часов, требовалось наиграть дистанцию в 120,000 рук. У игроков был безлимитный запас фишек, блайнды находились на уровне 50/100. В стеках у игроков было по 20,000 фишек.

Поначалу хедз-ап специалисты думали, что им удастся найти какие-то ошибки в игре, которые можно было бы использовать, но время доказало обратное. Libratus начал выигрывать с самого начала поединка. И, помимо этого, перенимал опыт людей и за счет этого усилял свою стратегию.

«Поначалу мы играли с ним, как с Claudio, и это была большая ошибка. Мы попробовали несколько стратегий покера, но они не работали. Мы попробовали играть с ним, как с человеком – но и это не работало, хотя все шло не так уж плохо. Мы меняли стратегии, чтобы найти уязвимости, но не преуспели в этом», – рассказал Донг Ким.

В результате поединка люди проиграли в сумме 1,8 миллиона фишек. Это примерно 90 полных стеков по 200бб, и винрейт бота составил за 120,000 раздач примерно 15бб/100. Добавлю, что при игре не вычитался рейк из банков, то есть в реальных условиях игроки проиграли бы еще больше.

График противостояния людей против покерного бота Libratus. Иллюстрация Медузы

Обыграть Libratus было практически невозможно. В то время как у топовых регуляров в покере есть 3-4 разных сайзинга (размера) ставок на постфлопе, у бота их было свыше 10, и каждый из этих сайзингов был сбалансирован. То есть когда вы получаете рейз от бота, это может быть как блеф, так и натс, вне зависимости от того, какую величину рейза он выбрал. Бот научился не только блефовать, но и считывать блефы оппонентов. Люди были практически обречены на провал с самого начала.

Современные реалии покера. Боты – хорошо или плохо?

Какие выводы можно из всего этого сделать? Можно говорить о том, что любые сферы в настоящее время развиваются колоссальными темпами, и нужно пристально следить за изменением тенденций и IT-развитием. Компьютерные технологии очень сильно ускоряют прогресс. Но хорошо ли это для покера? Ведь есть риск того, что большое количество игроков «решат» покер с помощью программ и овладеют Оптимальной Стратегией Игры (Game Theoretical Optimum, GTO в покере). В таком случае разница в уровне игры между лучшими игроками будет крайне мала, и покер «умрет». Подобное наблюдается в настоящее время в шахматах – очень многие ситуации уже просчитаны, и разницы в уровне игры лучших гроссмейстеров практически нет.

Что касается покера, на мой взгляд, у ботов есть плюсы и минусы. Сейчас существуют программы для обучения покеру, основанные на ГТО ботах. Достаточно лишь задать параметры раздачи – и вы узнаете, как оптимально было бы сыграть в той или иной ситуации.

Минусы

С одной стороны, это, конечно, плохо. Если раньше у лучших покерных мыслителей уходили годы на то, чтобы прийти к новому открытию в игровой стратегии, то теперь это происходит гораздо быстрее с использованием компьютерной мощности. И разница между думающим, сильным игроком и обычным гриндером как бы сократилась. И скорость «развития» покера очень сильно увеличилась, а значит и «судный день» в покере настанет скорее, чем люди думали 20 лет назад. Это не очень хорошо. На мой взгляд, так не должно быть. Умные люди должны иметь перевес над глупыми.

С другой стороны, это тоже плохо. Ведь некоторые люди теперь используют ботов для игры на покерных сайтах, что строго запрещено правилами. Как всегда, создается что-то во благо, а используется для наживы. Но спешу вас обнадежить, для того, чтобы создать и обучить хорошего бота, нужна мощность суперкомпьютера, к которым у «простых смертных» доступа нет.

Тумас Сандхольм и суперкомпьютер, который победил людей

Поэтому даже если вы и встретитесь за игровым столом с компьютерным оппонентом, еще далеко не факт, что он будет сильнее среднего регуляра. К тому же для ловли и наказания «ботоводов» в покерных румах существуют специальные команды. Отделы безопасности развиваются, изучают ботов, и со временем, полагаю, эта проблема будет решена.

Плюсы

Плюсом, разумеется, является исключительно тот факт, что при большом желании и исключительной работоспособности вы можете чрезвычайно быстро «прокачать» свой покерный скилл при помощи программ и стать плюсовым и успешным регуляром даже самых высоких лимитов. Боты вам в этом помогут, на их примере и на результатах их решений вы можете очень быстро и, главное, правильно учиться. Ведь, в конце концов, помимо возможностей для обучения, есть еще и человеческий фактор: кто-то работает больше, кто-то меньше, а кто-то ленив и не работает вообще. Поэтому усердный и работоспособный человек всегда будет успешнее лентяя в покере. Как говорится, вам и карты в руки.