한빛출판네트워크

IT/모바일

딥러닝과 바둑

알파고를 능가하는 바둑봇을 만들며 익히는 딥러닝, 강화학습

한빛미디어

번역서

판매중

좋아요: 3
  • 저자 : 막스 펌펄라 , 케빈 퍼거슨
  • 역자 : 권정민
  • 출간일 : 2020-06-01
  • 페이지 : 444쪽
  • ISBN : 9791162243152
  • 물류코드 :10315

합계 : 34,400

  • 무늬만 바둑봇을 알파고 제로 성능으로 환골탈태시키자

     

    2016년 세상을 공포와 충격에 빠트린 알파고는 알파고 제로에 완패를 당해 쓸슬히 퇴역했다. 이런 알파고의 드라마틱한 역정을 지켜본 개발자라면 한 번쯤 인공지능 바둑봇을 만들고 싶다는 막연한 생각을 해봤을 것이다. 

     

    고성능 바둑봇을 만드는 방법은 생각만큼 어렵지 않다. 첫째, 파이썬 딥러닝 라이브러리인 케라스를 사용해 훈련 기법과 전략을 적용한다. 둘째, 바둑봇이 스스로 바둑을 익히는 것을 즐겁게 지켜본다. 자세한 방법은 이 책에 있다. 이 책을 탐독해 바둑봇을 만들며 익힌 딥러닝 기술을 널리 활용하기 바란다.

     

     

    10315_details.jpg

     

     

     

  • [저자] 케빈 퍼거슨

    분산 시스템 및 데이터 과학 분야 경력 18년차다. 아너(Honor) 사 데이터 과학자며, 구글 및 미보(Meebo)에서 일했다. 막스와 케빈은 파이썬으로 개발된 몇 안 되는 오픈소스 바둑봇 중 하나인 베타고를 개발했다.

    [저자] 막스 펌펄라

    인공지능 관련 회사 skymind.ai 데이터 과학자이자 딥러닝 전문 엔지니어다. 딥러닝 플랫폼 aetros.com 공동 창업자기도 하다.

    [역자] 권정민

    세상은 데이터로 이뤄져 있다고 생각하며, 이를 잘 활용하고자 하는 목표를 가지고 다양한 산업 전반에서 데이터 분석 및 활용 방안을 만들고 연구하는 것을 업으로 한다. 카이스트 및 포항공과대학교에서 산업공학과 전산학을 전공했다. 『빅데이터 분석 도구 R 프로그래밍』, 『The R Book(Second Edition) 한국어판』, 『파이썬을 활용한 베이지안 통계』 등을 옮겼으며 『딥 러닝 레볼루션』, 『인터넷, 알고는 사용하니?』 등을 감수했다.

     

  • [Part 1 기초]

     

    CHAPTER 1 딥러닝을 향해 - 머신러닝 기초

    1.1 머신러닝이란 무엇인가

    __1.1.1 머신러닝은 AI와 어떤 연관성이 있는가

    __1.1.2 머신러닝으로 할 수 있는 것과 할 수 없는 것

    1.2 사례로 보는 머신러닝

    __1.2.1 애플리케이션에서 머신러닝 사용

    __1.2.2 지도학습

    __1.2.3 비지도학습

    __1.2.4 강화학습

    1.3 딥러닝

    1.4 이 책에서 학습할 내용

    1.5 요약

     

    CHAPTER 2 머신러닝 문제로서의 바둑

    2.1 왜 게임인가

    2.2 간단한 바둑 소개

    __2.2.1 바둑판 이해하기

    __2.2.2 돌 놓기와 잡기

    __2.2.3 경기 종료 및 점수 계산

    __2.2.4 패 이해하기

    2.3 접바둑

    2.4 추가 학습 자료

    2.5 머신에 무엇을 가르칠 수 있을까

    __2.5.1 포석 두기

    __2.5.2 다음 수 찾기

    __2.5.3 고려할 수 줄이기

    __2.5.4 게임 현황 평가하기

    2.6 바둑 AI가 얼마나 강력한지 측정하는 방법

    __2.6.1 일반 바둑 등급

    __2.6.2 바둑 AI 벤치마킹

    2.7 요약

     

    CHAPTER 3 첫 번째 바둑봇 만들기

    3.1 파이썬으로 바둑 나타내기

    __3.1.1 바둑판 구현하기

    __3.1.2 바둑에서 연결 추적하기 : 이음

    __3.1.3 바둑판에 돌 놓기와 따내기

    3.2 대국 현황 기록과 반칙수 확인

    __3.2.1 자충수

    __3.2.2 패

    3.3 게임 종료

    3.4 첫 번째 봇 만들기 : 상상 가능한 최약체 바둑 AI

    3.5 조브리스트 해싱을 사용한 대국 속도 향상

    3.6 봇과 대국하기

    3.7 요약

     

    [Part 2 머신러닝과 게임 AI]

     

    CHAPTER 4 트리 탐색을 통한 경기

    4.1 게임 분류

    4.2 미니맥스 탐색을 사용한 상대 수 예측

    4.3 틱택토 풀기 : 미니맥스 예제

    4.4 가지치기를 통한 탐색 공간 축소

    __4.4.1 위치 평가를 통한 탐색 깊이 축소

    __4.4.2 알파-베타 가지치기를 사용해서 탐색 폭 줄이기

    4.5 몬테카를로 트리 탐색을 이용한 경기 상태 평가

    __4.5.1 파이썬으로 몬테카를로 트리 탐색 구현하기

    __4.5.2 탐색할 가지 선택법

    __4.5.3 바둑에 몬테카를로 트리 탐색 적용하기

    4.6 요약

     

    CHAPTER 5 신경망 시작하기

    5.1 간단한 사례 : 손글씨 숫자 분류

    __5.1.1 MNIST 숫자 손글씨 데이터셋

    __5.1.2 MNIST 데이터 처리

    5.2 신경망 기초

    __5.2.1 단순한 인공 신경망으로의 로지스틱 회귀

    __5.2.2 1차원 이상의 결과를 갖는 신경망

    5.3 순방향 신경망

    5.4 우리 예측은 얼마나 훌륭한가 : 손실 함수와 최적화

    __5.4.1 손실 함수란 무엇인가

    __5.4.2 평균제곱오차

    __5.4.3 손실 함수에서의 최솟값 찾기

    __5.4.4 최솟값을 찾는 경사하강법

    __5.4.5 손실 함수에서의 확률적 경사하강법

    __5.4.6 신경망에 기울기를 역으로 전파하기

    5.5 파이썬을 활용한 단계별 신경망 훈련

    __5.5.1 파이썬에서의 신경망층

    __5.5.2 신경망에서의 활성화층

    __5.5.3 순방향 신경망의 구성 요소로서의 파이썬에서의 밀집층

    __5.5.4 파이썬으로 순차 신경망 만들기

    __5.5.5 신경망으로 손글씨 숫자 분류하기

    5.6 요약

     

    CHAPTER 6 바둑 데이터용 신경망 설계

    6.1 신경망용 바둑경기 변환

    6.2 트리 탐색 게임을 신경망 훈련 데이터로 만들기

    6.3 케라스 딥러닝 라이브러리 사용하기

    __6.3.1 케라스 디자인 원리 이해

    __6.3.2 케라스 딥러닝 라이브러리 설치

    __6.3.3 케라스로 익숙한 첫 번째 문제 실행해보기

    __6.3.4 케라스에서 순방향 신경망을 사용한 바둑 수 예측

    6.4 합성곱 신경망으로 공간 분석하기

    __6.4.1 합성곱 역할에 대한 직관적 이해

    __6.4.2 케라스로 합성곱 신경망 만들기

    __6.4.3 풀링층을 사용한 공간 감소

    6.5 바둑 수 확률 예측하기

    __6.5.1 마지막 층에서 소프트맥스 활성화 함수 사용

    __6.5.2 분류 문제에서의 교차 엔트로피 손실

    6.6 드롭아웃과 정류 선형 유닛을 사용해 더 깊은 신경망 구성

    __6.6.1 표준화를 위해 일부 뉴런 제거하기

    __6.6.2 ReLU 활성화 함수

    6.7 기능 결합을 통해 더 강력한 바둑 수 예측 신경망 만들기

    6.8 요약

     

    CHAPTER 7 데이터로부터 학습하기 : 딥러닝 봇

    7.1 바둑 대국 기록 가져오기

    __7.1.1 SGF 파일 포맷

    __7.1.2 KGS에서 바둑 대국 기록을 다운로드해서 재현하기

    7.2 딥러닝용 바둑 데이터 준비

    __7.2.1 SGF 기록을 사용해서 바둑 대국 재현하기

    __7.2.2 바둑 데이터 전처리기 만들기

    __7.2.3 데이터를 효율적으로 불러오는 바둑 데이터 생성기 만들기

    __7.2.4 바둑 데이터 처리 및 생성기의 병렬 실행

    7.3 인간의 대국 기록으로 딥러닝 모델 훈련하기

    7.4 더 실질적인 바둑 데이터 변환기 만들기

    7.5 적응 경사법을 사용해서 효율적으로 훈련하기

    __7.5.1 SGD에서의 붕괴와 모멘텀

    __7.5.2 에이다그래드로 신경망 최적화하기

    __7.5.3 에이다델타로 적응 경사법 조정하기

    7.6 직접 실험하고 성능 평가하기

    __7.6.1 모델 구조 및 하이퍼파라미터 검정 지침

    __7.6.2 훈련 및 검정 데이터로 성능 지표 평가하기

    7.7 요약

     

    CHAPTER 8 맨땅에 봇 배포하기

    8.1 심층 신경망으로 수 예측 에이전트 만들기

    8.2 바둑봇을 웹 프론트엔드로 제공하기

    __8.2.1 바둑봇 예제 처음부터 끝까지 다루기

    8.3 클라우드에서 바둑봇 훈련 후 배포하기

    8.4 다른 봇과의 대화에 사용할 바둑 텍스트 프로토콜

    8.5 로컬에서 다른 봇과 대결하기

    __8.5.1 봇이 차례를 넘기거나 기권해야 할 때

    __8.5.2 봇과 다른 바둑 프로그램 간 대국 두기

    8.6 바둑봇을 온라인 바둑 서버에 배포하기

    __8.6.1 온라인 바둑 서버에 봇 등록하기

    8.7 요약

     

    CHAPTER 9 체험을 통한 학습 : 강화학습

    9.1 강화학습 주기

    9.2 경험을 통해 어떻게 달라질까

    9.3 학습 가능한 에이전트 만들기

    __9.3.1 확률분포에 따른 샘플링

    __9.3.2 확률분포 제한

    __9.3.3 에이전트 초기화

    __9.3.4 물리 장치로부터 에이전트 불러오고 저장하기

    __9.3.5 수 선택 구현

    9.4 자체 대국 : 컴퓨터 프로그램이 연습하는 방법

    __9.4.1 경험 데이터 나타내기

    __9.4.2 대국 시뮬레이션

    9.5 요약

     

    CHAPTER 10 정책 경사를 사용하는 강화학습

    10.1 임의의 경기에서 좋은 결정을 정의하는 방법

    10.2 경사하강법을 사용해서 신경망 정책 수정하기

    10.3 자체 대국 훈련 팁

    __10.3.1 성능 향상 평가하기

    __10.3.2 작은 성능 차이 측정하기

    __10.3.3 확률적 경사하강(SGD) 최적화기

    10.4 요약

     

    CHAPTER 11 가치 기법을 사용하는 강화학습

    11.1 Q-학습을 사용한 대국

    11.2 케라스로 Q-학습 만들기

    __11.2.1 케라스로 입력값이 둘인 신경망 만들기

    __11.2.2 케라스로 ε-탐욕 정책 구현하기

    __11.2.3 행동-가치 함수 훈련

    11.3 요약

     

    CHAPTER 12 행위자-비평가 방식 강화학습

    12.1 어느 결정이 중요한지는 어드밴티지가 알려준다

    __12.1.1 어드밴티지란 무엇인가

    __12.1.2 자체 대국 중에 어드밴티지 구하기

    12.2 행위자-비평가 학습용 신경망 설계

    12.3 행위자-비평가 에이전트를 사용한 대국

    12.4 경험 데이터로 행위자-비평가 에이전트 훈련하기

    12.5 요약

     

    [Part 3 전체는 부분의 합보다 크다]

     

    CHAPTER 13 알파고 : 모든 AI 기법의 합작품

    13.1 알파고의 신경망 훈련

    __13.1.1 알파고의 신경망 구조

    __13.1.2 알파고 바둑판 변환기

    __13.1.3 알파고 스타일의 정책 신경망 훈련하기

    13.2 정책 신경망으로 자체 대국 부트스트래핑

    13.3 자체 대국 데이터로 가치 신경망 도출하기

    13.4 정책 신경망과 가치 신경망을 사용한 탐색 개선

    __13.4.1 신경망으로 몬테카를로 롤아웃 개선하기

    __13.4.2 결합 가치 함수를 사용한 트리 탐색

    __13.4.3 알파고의 탐색 알고리즘 구현

    13.5 각자의 알파고를 훈련할 때 실제로 고민해야 할 부분

    13.6 요약

     

    CHAPTER 14 알파고 제로 : 강화학습과 트리 탐색의 결합

    14.1 트리 탐색용 신경망 만들기

    14.2 신경망으로 트리 탐색 안내하기

    __14.2.1 트리 따라 내려가기

    __14.2.2 트리 확장

    __14.2.3 수 선택

    14.3 훈련

    14.4 디리클레 잡음을 사용한 탐색 향상

    14.5 더 깊은 신경망을 만드는 현대적 기법

    __14.5.1 배치 정규화

    __14.5.2 잔차 신경망

    14.6 추가 참고 자료

    14.7 정리

    14.8 요약

     

    부록 A 수학 기초 

    부록 B 역전파 알고리즘 

    부록 C 바둑 프로그램 및 서버 

    부록 D 아마존 웹서비스를 사용한 봇 훈련 및 배포 

    부록 E 온라인 바둑 서버에 봇 등록하기 

  • ★ 딥러닝 바둑봇을 만들며 딮러닝을 깊게 이해하자

    이 책을 덮을 때쯤 알파고 형태의 바둑 엔진이 어떻게 구현되었는지 이해하게 될 뿐만 아니라 몬테카를로 트리 탐색, 딥러닝, 강화학습 같은 현대 AI 알고리즘의 주요 구성 요소를 매우 실질적으로 이해할 수 있게 될 것이다. 저자는 실제로 돌려볼 수 있는 흥미로운 바둑 예제를 사용해서 이런 기술 주제를 조심스럽게 연결해두었다. 그외에도 지금까지 발명된 세상 모든 게임 중 가장 아름답고 도전적인 바둑의 기초 지식도 배우게 될 것이다.

     

    ★ 알파고 동작하는 딥러닝 바둑봇을 만들고 배포하라

    실제로 작동하는 파이썬 코드도 제시하고, 개념 설명도 훌륭하다. 책 내용을 익히면 바둑봇 직접 구현할 수 있도록 안내한다. 바둑봇이 작동하는 데 필요한 데이터 포맷, 배포, 클라우드 컴퓨팅 같은 주제도 자세히 다룬다. 온라인 바둑 서버에 봇을 등록하는 방법도 알려준다. 한 마디로 이 책은 현대 인공지능과 머신러닝을 장착한 바둑봇을 만드는 전 과정을 알려준다.

     

    ★ 다루는 핵심 내용

    1. 스스로 학습하는 게임 AI를 만들고 훈련하기

    2. 고전 게임 AI를 딥러닝으로 개선하기

    3. 딥러닝에 사용하는 신경망을 구현하기

     

    ★ 장별 요약

    [1부 기초]

    책의 나머지 부분에서 다루는 주요 개념을 소개한다.

     

    _1장 딥러닝을 향해 - 머신러닝 기초, 인공지능, 머신러닝, 딥러닝의 고차원적인 개요를 가볍게 제시한다. 이들이 어떻게 서로 연관되어 있는지, 그리고 이 분야의 기술로 할 수 있는 것과 없는 것을 설명한다.

     

    _2장 머신러닝 문제로서의 바둑

    바둑의 규칙을 소개하고 컴퓨터에 게임을 가르칠 때 무엇을 해야 하는지 설명한다.

     

    _3장 첫 번째 바둑봇 만들기

    바둑판을 만들고, 그 위에 바둑돌을 놓고, 풀게임을 하는 부분까지 파이썬으로 구현한다. 이 장을 마치면 가장 단순한 바둑 AI가 실제로 작동하게 만들 수 있다.

     

    [2부 머신러닝과 게임 AI]

    강력한 바둑 AI를 만들 수 있는 기술적, 이론적 기반을 설명한다. 특히 알파고에서 매우 효과적으로 사용한 트리 탐색, 신경망, 강화학습의 세 가지 기법을 소개한다.

     

    _4장 트리 탐색을 통한 경기

    경기의 각 차례에서 탐색과 평가를 하는 알고리즘을 전반적으로 설명한다. 단순한 무작위 대입 미니맥스 탐색 방식을 만드는 것부터 시작해서 알파-베타 가지치기, 몬테카를로 탐색 같은 고급 알고리즘까지 만들어본다.

     

    _5장 신경망 시작하기

    인공 신경망을 실질적으로 소개한다. 손으로 쓴 숫자를 맞추는 신경망을 파이썬으로 처음부터 구현해볼 것이다.

     

    _6장 바둑 데이터용 신경망 설계

    바둑 데이터가 이미지 데이터와 어떤 유사한 특징을 가지고 있는지 설명하고 수 예측을 위한 합성곱 신경망을 소개한다. 이 장에서는 모델을 만드는 데 유용한 딥러닝 라이브러리인 케라스를 사용한다.

     

    _7장 데이터로부터 학습하기 : 딥러닝 봇

    앞의 두 장에서 얻은 지식을 사용해서 심층 신경망 바둑봇을 만든다. 아마추어 게임에서 가져온 실제 경기 데이터로 봇을 훈련시키고 이 방법의 한계를 지적한다.

     

    _8장 맨땅에 봇 배포하기

    봇을 외부에 제공해서 사용자 인터페이스를 통해 사람이 봇과 경기를 할 수 있도록 할 것이다. 이때 봇이 로컬과 바둑 서버 두 곳에서 다른 봇과 어떻게 경기를 하게 만드는지도 배울 것이다.

     

    _9장 체험을 통한 학습 : 강화학습

    강화학습 기초와 이를 바둑에서 혼자 경기를 하는 데 어떻게 사용할 수 있는지 알아본다.

     

    _10장 정책 경사를 사용하는 강화학습

    7장의 수 예측을 개선하는 데 필수적인 방법인 정책 경사(policy gradients)를 차근차근 소개한다.

     

    _11장 가치 기법을 사용하는 강화학습

    4장의 트리 탐색과 결합했을 때 매우 강력해지는 수단인 가치 기법(value method)을 사용해서 바둑판에서의 위치에 값을 매기는 방법을 살펴본다.

     

    _12장 행위자-비평가 방식 강화학습

    바둑판에서의 위치와 다음 수가 주어졌을 때의 장기적인 가치를 예측함으로써 다음 수를 효과적으로 고를 수 있도록 하는 기법을 소개한다.

     

    [3부 전체는 부분의 합보다 크다]

    앞서 개발한 모든 구성 요소를 알파고처럼 애플리케이션으로 합치면 그 성능이 최고에 달한다. 알파고와 알파고 제로를 설명한다

     

    _13장 알파고 : 모든 AI 기법의 합작품

    기술적 및 수학적으로 이 책의 최고점이라고 할 수 있다. 이 장에서는 처음에는 신경망으로 바둑 데이터를 훈련하고(5~7장) 이를 통해 혼자 경기를 치르게 하고(8~11장) 여기에 똑똑한 트리 탐색 방식(4장)을 결합하여 초인 수준의 바둑봇을 만드는 방법을 논의한다.

     

    _14장 알파고 제로 : 강화학습과 트리 탐색의 결합

    이 책의 마지막 장으로, 보드게임 AI의 현재 최신 동향을 다룬다. 알파고 제로의 동력인 트리 탐색과 강화학습의 혁신적인 조합을 자세히 살펴볼 것이다.

     

    [부록 A 수학 기초]

    선형대수학과 미적분학의 기초를 되짚어보고, 파이썬 라이브러리인 NumPy로 몇 가지 선형대수를 나타내는 방법을 보여준다.

     

    [부록 B 역전파 알고리즘]

    5장에서 사용했던 다수의 신경망에서의 학습 과정을 보다 수학적으로 자세히 설명한다.

     

    [부록 C 바둑 프로그램 및 서버]

    바둑을 더 알고자 하는 독자를 위한 추가 자료를 제공한다.

     

    [부록 D 아마존 웹서비스를 사용한 봇 훈련 및 배포]

    봇을 아마존 클라우드 서버에서 동작하게 하기 위한 내용을 안내한다.

     

    [부록 E 온라인 바둑 서버에 봇 등록하기]

    우리가 만든 봇을 전 세계의 바둑 선수들이 시험해볼 수 있도록 유명한 바둑 서버에 연결하

    는 방법을 설명한다.

     

    추천사

    “현대 인공지능과 머신러닝을 읽기 쉽고 이해하기 쉽게 소개한다.” _토레 그레펠, 딥마인드 수석 연구원

     

    “머신러닝을 가르치는 용도로 바둑을 사용하다니! 감동적이고 고무적이다. 적극 추천한다.” _버크 후프나겔, 도허티 비즈니스 솔루션

     

    “현 시대 가장 흥미로운 기술을 근사하게 소개한다.” _헬무트 하우실트, HSEC

    • 이 글은 출판사로부터 책을 제공받아 작성하였습니다.


      OOP를 평소에 많이 쓸 일이 있지 않다보니 이 책을 따라하면서 많이 어려웠다. 그리고 솔직히 고백하자면 요새 이사한다 뭐한다 바쁜 일들이 있어서 이 책을 아직 끝까지 따라하지 못했다. 그 말은 강화학습 구현까지 가지 못했다는 얘기다. 그렇기에 내 리뷰는 책의 앞부분 느낌에 대한 리뷰라고 해야 정확하다.


       



      앞 부분


       



      책은 어떤 함수를 적고 그 함수에 대한 의미 설명을 적어놓으며 계속해서 Tutorial을 제공한다.
      사실 뭐가 뭔지도 모르고 그냥 따라치게 된다.


       






      완전히 OOP를 모르는 분이라면 이 책을 잡기를 추천하지 않고 싶다. 아마 그런 분이라면 그냥 알파고라고 하기에 흥미로워서 이 책을 잡으려 하겠지만, 알파고고 뭐고 간에 결국 프로그래밍이다. 파이썬부터 OOP 언어이기 때문에 OOP를 활용하지 않고 구현을 한다는 건 말이 안된다.


      만약 잘 몰라도 따라해보고 싶으신 분은



      https://www.youtube.com/watch?v=fk8a-U46FSg&list=PL2P1Vm9k53HOflCAdyYaOx7hfBHydWNcL&index=33




       


      이런 OOP강의를 들으시면서 따라하면 될 듯 하다. 사실 나부터도 OOP를 그리 잘 아는편이 아니라서;; 


      평소에 Jupyter를 열어서 간단한 Pandas 분석을 주로 사용하는 사람들(나 포함)에게 책은 분명 낯설거라고 생각한다. 그치만 뭐 1달 내에 알파고를 구현못하면 해고되는 것도 아니고 천천히 음미하며 해도 된다. 특히나 딥러닝 구현은 간단한 Jupyter로 안되고 OOP를 이용해서 복잡한 모델을 구현해야 하기 때문에 이 책을 보며 꾸준히 따라치다보면 분명 딥러닝 구현을 하는데 도움이 될거라고 생각한다. (정신승리라도 해야 버티지 이런거라도 없음 버티질 못한다)


      어떤 책에선 코딩 패러다임이 바뀌었다며 매우 간단하게 모델 구현이 가능하다는 설명이 있지만, 아직 우리에겐 코딩 능력이 필요하다는 걸 깨우쳐준 책이다. 특히나 딥러닝 엔지니어가 되고 싶다면, 혹은 제대로 공부해보고 싶다면 Google Colab 켜지 말고 이 책을 보며 따라하는 건 어떨까 싶다.


      고수의 코드를 따라할 수 있는 기회가 그리 많지 않다.







    • 이 책은 내게 다른 도서들과는 좀 의미가 다르다. 'ㅅ')


       



      지금 나는 개발자의 삶을 살고 있지만, '이세돌' 기사가 바둑을 수련했던 '권갑용 바둑 학원' 에서 중학교 시절 바둑을 수련하며 바둑 기사의 꿈을 키우던 사람이기 때문이다. 반포동의 대표 중국집 중 하나인 '다빈' 근처에 자리한 그 바둑 도장에서 나는 수많은 바둑 괴물 꼬꼬맹이들과 매일같이 커다란 바둑판 앞에 앉아서 요구르트, 아이스크림, 때로는 핫도그를 씹으면서 머리를 쥐어짜며 바둑을 두었다.


       



      내가 고등학교에 진학할 때 즈음, 어머니는 내게 '너 고등학교 가서도 계속 바둑 둘거니?' 질문을 던지셨고, 외벌이 가정에서 네임드 바둑 학원에 바치는 비용이 적지 않아 가계에 부담이 되는 것이 싫었던 나는 '바둑은 나이 들어서 둬도 될 것 같아요. 이제 그만 둘게요.' 라고 말했다.


       



      그리고, 바야흐로 2020년 나이 40살이 된 내 앞에 이런 책이 놓여 있군요. 'ㅅ') 헙스.



      감회가 새롭스.


       



      딥러닝 책들은 어렵다. 케라스나 텐서플로나 익히기 쉽지 않고, 공부하다 보면 수많은 종류의 좌절 펀치를 맞게 된다. 사용자 인터페이스를 주구장창 개발하면서 살아온 내게는 다른 영역으로 느껴지는 용어, 공식, 수학의 무서운 쓰나미. 봐라. 심지어 이 책에도 이렇게 쓰여 있다. '이 책은 딥러닝과 강화학습을 실질적으로 소개한다. 이 책을 최대한 활용하려면 파이썬 코드를 읽고 쓸 줄 알아야 하며, 선형대수학과 미적분학에 익숙해야 한다.' 이 전제가 이미 어렵다는겁니다. 안 그렇소. 'ㅅ') 흠흠.


       



      사실 본인의 경우는 딥러닝 관련 책들을 보다가 현재는 공부를 접어둔 상태인데, 이 책의 'part 1. 첫번째 바둑 봇 만들기' 단계를 훑어보면서 다시금 딥러닝을 공부해보고 싶은 마음이 불 같이 타올랐다. 이 책은 하나의 거대한 튜토리얼과 같이 구성되어 있어 딥러닝 잘 몰라도 시간이 걸려도, 와이프 몰래 새벽에 공부해도 괜찮을 것 같아서 좀 더 살펴보려고 한다.


       



      책을 전체적으로 훑어본 결과, 예제를 진행하는데 필요한 관련 기반 지식들에 대한 설명은 매우 친절하다. 실제로 이 책의 지식을 익히고 이해하고 구현 예제를 완주하려면 몇 달이고 걸리겠지만, 개발자에게 이미 흥미로운 주제가 아니겠는가. 당신이 바둑에 관심이 있거나 나처럼 바둑을 사랑하는 사람이라면 더 없이 즐겁게 읽을 수 있을 것이다. 'ㅅ')a 긁적. // 물론 책임은 안 짐. ㅋ


       



      .


       


    • [Part 1 기초]



       -책의 나머지 부분에서 다루는 주요 개념을 소개한다.



      CHAPTER 1 딥러닝을 향해 - 머신러닝 기초 -머신러닝 기초, 인공지능, 머신러닝, 딥러닝의 고차원적인 개요를 가볍게 제시한다. 이들이 어떻게 서로 연관되어 있는지, 그리고 이 분야의 기술로 할 수 있는 것과 없는 것을 설명한다.



      CHAPTER 2 머신러닝 문제로서의 바둑 - 바둑의 규칙을 소개하고 컴퓨터에 게임을 가르칠 때 무엇을 해야 하는지 설명한다.



      CHAPTER 3 첫 번째 바둑봇 만들기 -바둑판을 만들고, 그 위에 바둑돌을 놓고, 풀게임을 하는 부분까지 파이썬으로 구현한다. 이 장을 마치면 가장 단순한 바둑 AI가 실제로 작동하게 만들 수 있다.








      [Part 2 머신러닝과 게임 AI]



      -강력한 바둑 AI를 만들 수 있는 기술적, 이론적 기반을 설명한다. 특히 알파고에서 매우 효과적으로 사용한 트리 탐색, 신경망, 강화학습의 세 가지 기법을 소개한다.



      CHAPTER 4 트리 탐색을 통한 경기-경기의 각 차례에서 탐색과 평가를 하는 알고리즘을 전반적으로 설명한다. 단순한 무작위 대입 미니맥스 탐색 방식을 만드는 것부터 시작해서 알파-베타 가지치기, 몬테카를로 탐색 같은 고급 알고리즘까지 만들어본다.



      CHAPTER 5 신경망 시작하기-인공 신경망을 실질적으로 소개한다. 손으로 쓴 숫자를 맞추는 신경망을 파이썬으로 처음부터 구현해볼 것이다.



      CHAPTER 6 바둑 데이터용 신경망 설계-바둑 데이터가 이미지 데이터와 어떤 유사한 특징을 가지고 있는지 설명하고 수 예측을 위한 합성곱 신경망을 소개한다. 이 장에서는 모델을 만드는 데 유용한 딥러닝 라이브러리인 케라스를 사용한다.



      CHAPTER 7 데이터로부터 학습하기 : 딥러닝 봇-앞의 두 장에서 얻은 지식을 사용해서 심층 신경망 바둑봇을 만든다. 아마추어 게임에서 가져온 실제 경기 데이터로 봇을 훈련시키고 이 방법의 한계를 지적한다.-봇을 외부에 제공해서 사용자 인터페이스를 통해 사람이 봇과 경기를 할 수 있도록 할 것이다. 이때 봇이 로컬과 바둑 서버 두 곳에서 다른 봇과 어떻게 경기를 하게 만드는지도 배울 것이다.



      CHAPTER 8 맨땅에 봇 배포하기-봇을 외부에 제공해서 사용자 인터페이스를 통해 사람이 봇과 경기를 할 수 있도록 할 것이다. 이때 봇이 로컬과 바둑 서버 두 곳에서 다른 봇과 어떻게 경기를 하게 만드는지도 배울 것이다.



      CHAPTER 9 체험을 통한 학습 : 강화학습-강화학습 기초와 이를 바둑에서 혼자 경기를 하는 데 어떻게 사용할 수 있는지 알아본다.



      CHAPTER 10 정책 경사를 사용하는 강화학습-7장의 수 예측을 개선하는 데 필수적인 방법인 정책 경사(policy gradients)를 차근차근 소개한다.



      CHAPTER 11 가치 기법을 사용하는 강화학습-4장의 트리 탐색과 결합했을 때 매우 강력해지는 수단인 가치 기법(value method)을 사용해서 바둑판에서의 위치에 값을 매기는 방법을 살펴본다.



      CHAPTER 12 행위자-비평가 방식 강화학습-바둑판에서의 위치와 다음 수가 주어졌을 때의 장기적인 가치를 예측함으로써 다음 수를 효과적으로 고를 수 있도록 하는 기법을 소개한다.







      [Part 3 전체는 부분의 합보다 크다]



      -앞서 개발한 모든 구성 요소를 알파고처럼 애플리케이션으로 합치면 그 성능이 최고에 달한다. 알파고와 알파고 제로를 설명한다



      CHAPTER 13 알파고 : 모든 AI 기법의 합작품-기술적 및 수학적으로 이 책의 최고점이라고 할 수 있다. 이 장에서는 처음에는 신경망으로 바둑 데이터를 훈련하고(5~7장) 이를 통해 혼자 경기를 치르게 하고(8~11장) 여기에 똑똑한 트리 탐색 방식(4장)을 결합하여 초인 수준의 바둑봇을 만드는 방법을 논의한다.



      CHAPTER 14 알파고 제로 : 강화학습과 트리 탐색의 결합-이 책의 마지막 장으로, 보드게임 AI의 현재 최신 동향을 다룬다. 알파고 제로의 동력인 트리 탐색과 강화학습의 혁신적인 조합을 자세히 살펴볼 것이다.


       



      [리뷰]



      2016년 3월 알파고와 이세돌 9단과 5번의 대국으로 알파고가 4번을 이겨서 인공지능 산업에 큰 파장을 불러 왔다고 생각합니다. 아마 그떄 부터 딥러닝, 머신러닝등 엄청난 발전이 되었습니다. 







      이책에서는 딥러닝 기반의 알파고를 파헤치고 알파고를 능가하는 바둑봇을 만드는 과정을 배울수 있습니다. 알파고의 바둑 엔진이 어떻게 구현 되어 있는지 하나하나 배울수 있고 몬테카를로 트리 탐색, 딥러닝, 강화학습 같은 알고리즘을 이해할수 있습니다. 파트 1에서는 머신러닝, 딥러닝에 대한 전반적인 이론과 개념 등 기초적인 내용을 학습할 수 있습니다. 파트2에서는 바둑봇의 인공두뇌를 만드는 학습을 합니다. 즉 트리 탐색, 신경망, 강화학습의 세가지 기법에 대해서 배우게 됩니다. 파트 3에서는 앞에서 개발한 것을 가지고 강화학습을 진행 합니다. 파트 3이 이책의 하이라이트라고 볼수 있습니다. 앞장에서 신경망으로 바둑 데이터를 훈련하고 이모델로 혼자서 바둑 대국를 치르게 해서 더 똑똑한 트리 탐색 방식을 결합하여 알파고 수준의 바둑봇을 만드는 방법을 배웁니다. 그리고 마지막 장에서는 알파고 제로에 대해서 최신 AI 동향을 다룹니다. 우리가 만든 바둑봇과 알파고 제로와 대결 해서 더욱 강력한 바둑봇을 만들어 보시기 바랍니다.







      그리고 부록으로 인공지능에 필요한 기초 수학인 선형대수와 미적분학을 간략하게 소개 하고 넘파이로 선형대수를 사용하는 방법을 알려줍니다. 그리고 역전파 알고리즘, AWS를 사용한 봇훈련 및 배포 방법, 온라인 바둑 서버에 바둑봇 등록 하는 방법 등이 부록으로 제공 하고 있습니다.


       



      머신러닝, 딥러닝에 대해서 이론과 실제 앱을 만들어 보면서 좀더 깊게 딥러닝에 대해서 배울수 있을 겁니다. 바둑봇을 만들어 보면서 다른 인공지능 앱을 만들때 응용할수 있는 능력이 키워 질것이라 생각됩니다.


    • 딥러닝을 세상에 본격적으로 드러낸 것은 알파고의 등장 때문 일 것이다. 알파고 이전에도 이미지넷 챌린지에서 우수한 성능으로 기존에 절대 넘지 못했던 오차율을 보이며 연구자들에게 딥러닝의 위엄을 보여주었었는데 일반인들에게는 알파고로 딥러닝이 더 유명하다.








      나도 알파고를 통해 딥러닝이라는 것을 처음 알았다. 그래서 인지, 바둑에 관심이 생겼었고 이 책을 찾게 되었다.


       


       



      IMG_0414.JPEG


       


      책의 표지는 마치 고스트 바둑왕의 사이가 입고 있던 옷같은 그림이다. 한빛미디어의 새로운 책 디자인인 것 같은데, 배경색이 진한 녹색인게 좀 신선하다.


       



      IMG_0415.JPEG


       


      책에서 다루는 내용이 정말 좋다. 바둑이라는 소재가 있어서 그런지 기초적인 머신러닝/딥러닝에 대해서 소개도 하지만 곧바로 바둑과 게임AI에서 쓰이는 알고리즘들을 소개하고 본격적으로 딥러닝으로 바둑을 정복하기 위해 이어간다. 각 장을 차례대로 해치워가면 알파고와 알파고 제로에 대해서 이해할 수 있게 된다. 뿐만 아니라 웹에서 서비스하고 호스팅하는 부분도 일부분 다뤄서 많이 도움된다.


       



      IMG_0416.JPEG


       












       













      딥러닝에서 중요한 것이 데이터를 수집하고 전처리하고 표현하는 방법을 정하는 것인데, 책을 읽다보면 이 내용들이 모두 자연스럽게 나온다. 바둑에 특화해서 바둑에 대한 규칙 내용도 나오고 그런 규칙을 어떻게 뉴럴넷에 녹여낼지 독자로 하여금 이해할 수 있도록 설명해서 좋았다. 이런 부분들을 그냥 이론적으로 설명하고 끝이 아니라 직접 그림과 코드를 통해서 설명하므로 더욱 이해하기 쉬웠다. 이 책에서는 케라스를 사용해서 딥러닝 모델을 만들고 학습했다. 파이토치랑 텐서플로우는 써본적이 있었는데 케라스는 처음이였지만 API가 굉장히 쉬워서 편했다. 뭐 케라스가 텐서플로우에 합쳐지는 방향으로 가고 있지만 그래도 케라스는 굉장히 쉽게 잘 되어 있었다.



      책 전체적으로 내용이 정말 많은 도움이 된다. 알파고 자체가 정말 많은 노력이 들어가서인지, 책으로 읽어도 참 도움이 되는 것 같다. 사실 논문을 보면 가장 좋긴하겠지만 역시 논문은 어렵다.


       



      * 이 책은 한빛미디어 나는 리뷰어다 이벤트로 제공받은 책입니다.


       








      




    •  


      이번에 읽어 본 책은 한빛미디어의 딥러닝과 바둑 입니다.


      2016년 알파고가 이세돌 9단과의 경기에서 4승 1패로 승리를 하게 되면서 인공지능의 무서움을 알게 되었는데요.



      경우의 수가 19 * 19 = 361 에서 각각의 경우를 계산 해야 되기 때문에 361! 의 수가 나오고 이 수는 우주의 모래알 갯수 만큼이나 많은 경우의 수라는 것을 깨닫고 현존하는 기보를 암기해서 거기에 맞춰 게임을 할 수는 없다는 것을 알고 정말 스스로 생각했다는 것이 정말 놀라웠거든요.


      책의 구성을 보면 위와 같이 1부 기초에서는 머신러닝의 기초를 배우고 첫번째 바둑봇을 만들어 보게 됩니다.


       


      사람과 게임하는 바둑봇(black 사람, white 봇)


       


      1부에서 만들어 본 봇으로 사람이 black(X)  봇이 white(0) 게임을 하는 모습입니다.


      봇은 것의 랜덤하게 놓고 있지만 그래도 바둑의 규칙을 적용한 모습이네요.


      아직은 미완성된 작품이지만 기본적으로 바둑의 규칙이 적용되어 사람과 봇의 대결하는 모습을 볼 수가 있습니다.


      이러한 봇이 머신러닝과 결합하면서 점점 더 강해지는 것을 본다면 너무 멋질 것 같다는 생각을 해 보게 되네요.


      2부에서는 신경망을 공부하고 신경망과 바둑을 접목하는 과정을 하나 하나 따라 해 볼수가 있습니다.


      먼저 오늘날 딥러닝의 중심에 있는 알고리즘인 인공신경망(ANN)의 핵심을 알아보고 이러한 신경망을 바둑 데이터용에 어떤 식으로 적용할지 신경망을 설계해 보게 됩니다. 딥러닝 라이브러리 중 케라스를 이용해서 바둑의 수를 예측하고 어떤 수에 놓는 것이 가장 좋을지를 예측하고 분석하게 됩니다.


       






       


      위의 그림예제를 보면 신경망을 이용하여 바둑돌의 다음 수를 예측하는데 필요한 정보를 뽑아 낼 수 있다는 것은 상당히 흥미로운 일이네요.


      이러한 모델을 응용하여 KGS의 바둑대국 기록을 다운로드 해서 훈련을 시켜 보고 이러한 바둑봇을 인간의 대국기록을 통해 딥러닝 모델을 훈련시키는 부분은 인공지능이 어떻게 동작을 하는지 궁금해 하시는 분들에게 무척이나 도움이 될것 같네요.


      또한 강화학습은 누가 이것이 올바른 길이라는 것을 알려 주는 것이 아니고 체험을 해 보고 이 길이 아닌가 보네 그러면 다른 길을 가보면 어떨까 하면서 모든 길을 다 가 보면서 점점 더 좋은 것을 경험을 통해 알아 가는 것처럼 이러한 봇을 지속적으로 훈련을 통해 약한 바둑봇이 강한 바둑봇을 만들어 가는 과정을 볼 수가 있는데요.


      이러한 원리가 알파고의 원리라는 것이 참으로 신기 할 수 밖에 없었습니다.


      이 책을 읽으면서 이 책에서 제공해 주는 모든 것을 다 깨닫지는 못했지만 정말 바둑이라는 무한한 경우의 수를 사람이 생각하는 것과 비슷한 방법으로 알고리즘을 추출해 나가는 것들을 바라보며 앞으로 배우고 나아가야 할 일이 정말 너무 많은 것을 느끼게 되었네요.


      이 책은 500페이지 분량이지만 내용은 정말 무량대수 만큼이나 많은 내용을 담고 있는 느낌을 받았네요.


      하지만 기회가 될때 한땀 한땀 코딩을 하면서 그 원리를 익히고 이 책에서 주고자 하는 원리를 깨닫는다면 바둑봇이 아닌 또 다른 인공지능 봇도 만들어 내지 않을까 하는 생각이 들었네요.


      이 책은알파고의 탄생이 궁금하신 분들에게 정말 많은 도움이 될것같아요.

    •  



      1592799980716.jpg


       


      이번에 리뷰할 책은 Max Pumperla의 딥러닝과 바둑이다. 참고로 저자인 Max는 개인 블로그를 운영중인데 (https://maxpumperla.com/projects/) 최근 프로젝트들을 보면 딥러닝의 deployment에 대한 프로젝트들도 활발히 진행중인 것으로 보인다. 이전에 머신러닝 프로젝트 & 연구들은 더 나은 모델들을 찾고 training 하는데에 집중했다면, 최근의 머신러닝은 이미 잘 알려진 모델들을 기반으로 실제 문제에 적용하고, 해당 솔루션을 보편화 시키는데에 많이 집중하고 있다. 최근에 핫한 분야인 Neuro Architecture Search를 기반으로 구글은 AutoML을 서비스하고있고, Jeff Dean이 최근 발표한 슬라이드들에는 AutoML로 발견된 모델이 기존의 모델들보다 성능이 비슷하거나, 뛰어난 경우들이 많다고 소개하고 있다. 그러므로, 주어진 데이터셋을 잘 학습하는 모델들을 구하는것이 과거에 비해서 많이 용이해졌고, 전이학습등을 통해 기존 모델들을 다른 데이터셋에 이식시켜 사용할 수 있으니, 이제는 실제 적용하고 보편화 하는 단계가 이슈인 것이다. 이러한 최근의 트렌드를 가지고, 그럼 이 책이 독자들에게 어떤 이점들을 가져다 줄 수 있는지 살펴보자.


       


      이 책의 구성에 대해서 살펴보면, 크게 3가지 파트로 나뉜다. 첫번째 파트는 기초에 대한 파트로, 바둑에 대한 룰과 머신러닝, 그리고 간단한 바둑 봇 실습이 있다. 아무래도 게임 AI를 다루다보니, 강화학습에 대한 내용이 주로 쓰이고 있다. 그렇기 때문에, 머신러닝에 대한 큰 틀이 아직 잡히지 않은 독자들은 챕터 1에 머신러닝 분류를 잘 읽어서 bird-eyed view를 먼저 가지고, 그것을 기반으로 이 책이 다루는 부분을 명확히 인지하는 것이 필요하다.


       


      파트 2로 들어오면서 딥러닝을 위한 신경망의 기초와, 강화학습을 위한 트리 탐색, 그리고 이러한 지식들을 기반으로 어떻게 바둑을 위한 신경망을 설계하는지 다룬다. 이 책에 또 하나의 장점은, 이러한 기초설명 이후 실제 바둑 AI 구현을 위한 실습 설명이 매우 자세하다는 것이다. 지금까지 다양한 머신러닝 / 딥러닝 책을 읽었는데, 보통 머신러닝책은 확률과 통계를 기반으로 한 클래식한 머신러닝부터 최근의 신경망 기반의 딥러닝을 간단히 설명하고 마치거나, 딥러닝 책은 신경망에 대한 설명과, 유명한 딥러닝 모델들을 소개하는 방식이 많았다. 넓은 범위를 커버하는 반면에 디테일한 부분들이 많이 떨어져서, 읽고 나서 머신러닝 / 딥러닝을 잘 이해하게 되었다고 말하기 힘든 책들이 정말 많았다. 반면 이 책은, 범위를 좁혀서 바둑이라는 문제 해결을 위해, 딥러닝과 강화학습의 기반 지식들과 실제 개발 과정을 상세하게 적어둔 것이 강점이라고 생각한다. 다만, 범위를 좁히고 디테일한 설명을 하는 비용으로, 초심자용 책은 아니며 앞서 말한 머신러닝/딥러닝 책들을 읽고 나서 읽는 것을 추천한다.


       


      마지막 파트 3은 파트 2의 연장선 상으로 바둑 AI를 더 강력하게 만들기 위한 기법들을 소개한다. 책의 내용이 꽤 많으므로, 딥러닝과 강화학습을 공부하고자 이 책을 이용하면 파트 2까지 우선적으로 읽는 것을 추천하며, 시간이 되거나 실제 프로젝트 적용을 위해서라면 파트 3도 읽으면 좋을 것 같다. 이 책은 매챕터마다 구현에 대한 설명이 자세히 나온다. 이게 장점이라면 장점이고, 단점이라면 단점인데, 그 이유는 책의 신선도가 금방 떨어질 수 있기 때문이다. 텐서플로우와 케라스가 2015년에 릴리즈되고, 통합되기까지 3년이 걸리지 않았다. 새로운 딥러닝 프레임워크들은 계속해서 나오고, 기존에 프레임워크들도 API가 바뀌거나, 새로운 기능 추가 및 기존 기능들이 사라지는 경우도 매우매우 잦다. 이 책의 구현 설명이 디테일 한 것은 그렇기 때문에 장점이 될 수도, 단점이 될 수도 있다. 물론, 책내용을 따라가면서 버전이슈들을 만날때마다 스스로 찾아내서 고칠수 있으면 크게 상관없다. 하지만 그런 작업은 영문으로 작성된 공식 도큐먼트나 영문 자료들을 찾아봐야할 경우가 많기 때문에, 실습할때 책에서 사용한 버전과 같은 버전을 사용하는 것을 추천한다. Max Pumperla는 예제 코드들을 github에 공유하고 있으니, 참고하면 책 내용 따라가는데에 도움이 많이 될 것이다 (https://github.com/maxpumperla/deep_learning_and_the_game_of_go).


       


      리뷰를 정리하면, 책이 타게팅하는 분야가 넓지 않기 때문에 초보자용 입문서는 아니며, 이미 머신러닝/딥러닝/강화학습에 대한 레이아웃을 알고, 강화학습 & 딥러닝을 더 제대로 파보고 싶은 사람들이 타겟 독자층이다. 하지만, 시중에 나온 머신러닝/딥러닝 서적들은 대체적으로 넓은 분야를 전반적으로 설명하는 책들이 많기 때문에, 그런 책들을 처음 입문서로 보고 이 책을 읽는 것을 추천한다. 넓은 분야의 입문서들을 읽으면서 예제들을 많이 해보겠지만, 그 예제들을 통해 내가 진짜 머신러닝을 좀 제대로 파봤다고 느끼는 사람은 거의 없을 것이다. 그런 막연함을 덜어내고, 조금 더 구체화하고 싶다면 이 책을 읽는 것을 추천한다. 또한, 책에 설명이 디테일하여 좋긴 하지만, 머신러닝 프레임워크/라이브러들의 발전속도가 매우 빠르므로 책의 신선도가 떨어지기 전에 빨리 보는 것이 좋을 것이다. 너무 버전 이슈나 라이브러리 / 프레임워크의 엔지니어링 디테일에 시달려서 책에서 학습하고자 하는 내용을 놓치면 책을 읽는 이유가 없으므로, 실습할때 저자가 사용한 버전과 같은 버전을 사용하는 것을 추천한다.


       



      1592799985469.jpg


       

    • 소문난 명강의 : 김도형의 데이터 사이언스 스쿨(수학 편)

      김도형

    • 파이썬 날코딩으로 알고 짜는 딥러닝

      윤덕호

    • 처음 배우는 머신러닝

      김승연 , 정용주

닫기

해당 상품을 장바구니에 담았습니다.
장바구니로 이동하시겠습니까?