Нейросети для игры в покер

Искусственный интеллект — тренд последних нескольких лет. Помимо языковых моделей, софта для создания изображений и других ИИ, развиваются нейросети для покера. Это программы, с помощью которых игроки могут тренироваться и решать задачи. Но также их используют и для менее благородных целей.

Как нейросети могут помочь в игре в покер

Искусственный интеллект давно «научился» побеждать любого противника в шахматах. Но, в отличие от покера, это игра с полной информацией. Таких же разработок для, например, Техасского Холдема пока нет. Но уже есть нейросети для игры в покер, способные за доли секунды определять лучшие ходы и решения в заданных условиях. Существует несколько методов применения такого ПО:

• Для обучения. Этичный способ работы с ИИ — тренировки. Игрок может ввести условия и запросить у нейросети варианты решений. Компьютер просчитает все допустимые исходы раздачи и представит их пользователю. Для покериста такой анализ — способ прокачать стратегическое мышление и отработать навык принятия решений.
• Для игры против ИИ. В онлайн-румах и бесплатных приложениях нередко можно запустить кеш-раздачи с оппонентом-компьютером. Обычно для этого применяются не ИИ-алгоритмы. Со временем они становятся предсказуемыми, игра против такого соперника не несет практической пользы. AI-оппонент может менять стратегию, учитывать больше переменных и «вести себя» подобно живому человеку.
• Для игры против реальных людей. Неприемлемый с точки зрения этики, но существующий метод внедрения нейросети для покера. Недобросовестные игроки используют ботов на базе AI, которые автоматически принимают оптимальные решения. Онлайн-румы отслеживают применение такого софта и блокируют аккаунты нарушителей.

Есть и другие способы внедрения ИИ-программ в индустрии. Нейросетями пользуются организаторы румов. Но в их случае это не игровой софт, а вспомогательное ПО для обеспечения безопасности. Например, программы, отслеживающие подозрительную активность или мошеннические действия.

Популярные нейросети для игры в покер

Известно о трех программах, способных демонстрировать выдающиеся результаты в Холдеме. По другим дисциплинам нет даже разработок. Самая «умная» из доступных нейросетей — DeepStack. Так же с покерными задачами справляются ChatGPT и еще одна ИИ-модель под названием Pluribus.

DeepStack

Нейросеть для игры в покер, созданная американскими разработчиками из Университета Альберты. Это единственная программа на базе AI, которая принимает решения с учетом равновесия Нэша. Главная особенность DeepStack заключается в его способности обучаться на основе неполной информации. Это критично для поиска оптимальных действий в покере.

DeepStack использует методики обратной связи и самообучения. Это позволяет AI-софту «адаптироваться» к игровым ситуациям и учитывать широкий спектр вариантов развития событий в каждой раздаче.

DeepStack — инновационная разработка. Более ранние покерные боты и AI-ассистенты показывали стабильные результаты только в лимитном Холдеме, вариативность ставок в котором строго ограничена. DeepStack же сохраняет высокий процент успешных решений в формате NL.

Нейросеть обучалась на множестве различных игровых ситуаций. Разработчикам удалось добиться переоценки действий ИИ в каждом случае принятия решения. Для этого используется так называемое «древо предвидения» (look ahead tree). Для расчетов принимаются такие вводные данные:

• Текущий размер банка.
• Известные карты (карманки и борд).
• Диапазоны оппонентов.
• Все совершенные соперниками действия.

Отличие DeepStack от других покерных ботов — избегание эксплойта. Программа постоянно перестраивает стратегию, чтобы под нее невозможно было подстроиться. Это одно из немногих ПО, принцип работы которых основан на равновесии Нэша.

ChatGPT

Самая популярная нейросеть в мире тоже могла бы стать покерным помощником. Однако ChatGPT — в первую очередь языковая модель. Она была создана для поиска ответов на запросы пользователей.

Поэтому игрокам в покер ChatGPT не помощник. Единственное, чем полезен чат-бот — поиск и структуризация необходимой информации. И даже с этими задачами ИИ справляется не всегда. Периодически ChatGPT «придумывает» информацию, дает неверные данные и приводит некорректные расчеты. Опираться на решения этой нейросети во время игры в покер нецелесообразно.

Pluribus

Плурибус — покерный бот, который в 2019 году «взорвал» комьюнити. Программа, созданная в университете Карнеги, сумела обыграть профессионалов за столом 6-макс NL Holdem. Разработка стала причиной волнений в покерном сообществе, так как бот не требователен к «железу» — его мог бы запустить любой пользователь ПК.

Pluribus удивил своих профессиональных соперников двумя навыками. Первый — способность менять сайзинги так, как это делают люди. Программа подстраивалась под ситуацию на столе и контролировала размеры ставок, чтобы оставаться «непредсказуемой», но в то же время играть оптимально.

Второй впечатляющий навык — комбинация стратегий. Бот сочетал разные приемы и тактики в пределах допустимого, чтобы подбирать лучшие решения в каждой новой ситуации.

Как обучить нейросеть игре

Покер требует работы с вероятностями и неполной информацией. Это отличает его от других игр, например шахмат. Данная особенность — причина, по которой разработка AI-софта для покера заняла столько времени.

Сбор больших массивов данных

Чтобы обучить нейросеть покеру, необходимо подготовить ресурсы для аналитики. Процесс предполагает сбор массивов данных о миллионах игр. Получить информацию можно из открытых раздач, баз трекеров и других источников. Необходимые данные:

• Раздачи с разными уровнями сложности.
• Действия профессиональных игроков.
• Результаты раздач.
• Метаданные (позиция игрока, размер стека, стадия турнира и т.д.).

Чем больше информации будет в массиве, тем «умнее» станет нейросеть. Не менее важно разнообразие сценариев — это позволит боту лучше адаптировать стратегию под реальную игру.

Разметка данных

Это процесс, в ходе которого каждому игровому сценарию присваиваются определенные значения и категории. Например, нужно установить, какие решения были правильными, а какие приводили к проигрышу. Разметка данных включает в себя:

• Определение вероятностей победы на основе карт и позиции.
• Классификацию решений (например, выигрышные блефы, неудачные коллы).
• Разделение данных по типам покеристов (агрессивные, пассивные, тайтовые, лузовые).

Обучение правилам

Понимание основ «рабочей» дисциплины необходимо для корректного функционирования ИИ. На этом этапе нейросеть обучается базовым правилам покера. Процесс предполагает:

• Запоминание комбинаций карт и их силы.
• Изучение ставок (блайндов, анте, рейзов).
• Запоминание вероятностей выпадения комбинаций.
• Разбор стадий игры (префлопа, флопа, терна, ривера).

Этап самообучения

После обработки базовых правил нейросеть переходит к следующей стадии. ИИ приступает к самообучению, играя миллионы раздач против самого себя или уже существующих моделей. Есть несколько методов, применяющихся на этом этапе.

На этом этапе нейросеть начинает самостоятельно адаптироваться к различным игровым ситуациям. Это позволяет ИИ развивать стратегии, превосходящие человеческие возможности.