Третье заседание студенческого математического семинара

Докладчик представил написанную им программу на языке Python с графическим интерфейсом, реализующую несколько подходов к построению искусственного интеллекта для настольной игры реверси. Эти подходы – классический алгоритм альфа-бета отсечения, простейший вариант метода Монте-Карло и свёрточная нейросеть, обученная сначала на датасете из сгенерированных партий, а затем дообученная с помощью игр с самой собой. Игра реверси была выбрана в связи с тем, что докладчик умеет в неё играть на любительском уровне и способен оценить силу игры создаваемых программ. В то же время, обсуждаемые методы построения этих программ равным образом подходят для шахмат, шашек, го и других подобных игр. При создании искусственного интеллекта для реверси докладчик пользовался помощью искусственного интеллекта и убедился в том, что эта помощь позволяет значительно ускорить разработку сложных программ - но только при готовности разработчика подробно разбираться в предложенном коде и отлаживать его.

Доклад содержал разъяснение алгоритма альфа-бета отсечения и краткий рассказ о принципах работы свёрточных нейросетей. После этого были изложены математические основы алгоритма Reinforce для обучения с подкреплением. Именно этот алгоритм использовался при дообучении нейросети путём игр с самой собой. Студенты увидели, как формулы математического анализа и теории вероятностей помогают сделать «умную» программу.

К сожалению, у чистой нейросети сила игры бывает ограничена склонностью иногда делать глупый ход среди множества разумных ходов, что может испортить всю партию; вероятно, здесь можно провести аналогию с «галлюцинациями» больших языковых моделей. Поэтому в самых сильных современных программах для игры в логические настольные игры используется одновременно и нейросеть, и алгоритмический поиск по дереву возможных ходов - например, алгоритм Monte Carlo Tree Search. Именно на таком подходе была основана программа, которая в 2016 г. победила чемпиона мира по го, что не удавалось более простым алгоритмам (шахматы и реверси к тому времени искусственному интеллекту уже покорились). В то же время, в своей основе этот подход вполне доступен для изучения – и может быть, кто-нибудь из студентов захочет реализовать что-то подобное.