1. 시작

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

2023년 10월달에 소개할 책은 「만들면서 배우는 생성 AI」입니다

<표지>

딥러닝 기초부터 최신 생성 AI 모델까지 설명하고 있습니다.

다음과 같은 다양한 생성 딥러닝 모델을 만드는 방법을 다루고 있습니다.

‘VAE로 사진 속 얼굴 표정 바꾸기'

‘자체 데이터셋을 학습한 GAN으로 이미지 생성하기'

‘확산 모델로 새로운 꽃 종류 만들기'

‘텍스트 생성을 위한 자체 GPT 훈련하기'

‘대규모 언어 모델인 챗GPT 훈련 방법 알아보기’

‘StyleGAN2, ViT VQ-GAN과 같은 최신 아키텍처 조사하기

‘트랜스포머와 MuseGAN을 사용해 다성 음악 작곡하기'

‘월드 모델이 강화 학습 과제를 해결하는 방법 이해하기'

‘DALLE 2, Imagen, 스테이블 디퓨전과 같은 멀티모달 모델 알아보기'

이책에 대해서 좀더 알아보도록 하겠습니다.

2. 책의 구성

이 책은 총 3개의 파트와 14개의 세부장으로 구성되어 있습니다.

제 1파트 ‘생성 딥러닝 소개'

• 
  

  
  생성 모델링, 딥러닝
  

  
  

제 2파트 ‘6가지 생성 모델링 방식'

• 
  

  
  변이형 오토인코더, 생성적 적대 신경망, 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델
  

  
  

제 3파트 ‘생성 모델링의 응용 분야'

• 
  

  
  트랜스포머, 고급 GAN, 음악 생성, 월드 모델, 멀티모달 모델
  

  
  

입니다. 

3. 책의 내용

1) 생성 딥러닝 소개

생성 모델링과 딥러닝을 소개하고 있습니다.

생성 모델링을 정의하고 간단한 예제를 사용해 모든 생성 모델에서 중요한 몇가지 핵심 개념을 설명하고 있으며, 복잡한 생성 모델을 만드는 데 필요한 딥러닝 도구와 기법을 제공합니다.

45페이지

77페이지

2) 6가지 생성 모델링 방식

변이형 오토인코더, 생성적 적대 신경망, 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델의 여섯 가지 종류의 생성 모델을 소개합니다. 

97페이지

112페이지

146페이지

183페이지

229페이지

3) 생성 모델링의 응용 분야

이미지, 텍스트, 음악, 게임에서 생성 모델링이 어떻게 응용되고 있는지 설명하고 있습니다. 

314페이지

364페이지

4. 책을 읽은 후

이 책은 절대로 쉬운 책이 아닙니다.

인공지능 모델에 대해서 설명하고 있지만 수학과 기본적인 인공지능에 대한 이해도를 알고 있어야 합니다.

지난 10년간의 생성 모델링에 대한 설명을 하지만 그 설명을 이해하기가 쉽지 않습니다.

만약 인공지능 개발자를 준비하고 계신다면 꼭 알아야 할 내용임에는 분명합니다. 

저자는 마지막으로

‘생성 모델링은 인공지능을 실현하는 열쇠의 하나로써 향후 10년 동안 꾸준히 각광받을 핵심 아이디어이다' 라고 이야기 합니다.

ChatGPT를 통해서 우리는 생성형 AI의 강력한 힘과 미래를 어떻게 바꿀 것인지에 대한 두려움을 가지고 있습니다.

개발자로써 살아남기 위해서는 꼭 이 책을 통해서 산을 넘을수 있기를 그리고 절대 포기하지 않기를 희망합니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

감사합니다

※ 한빛미디어 <나는 리뷰어다>활동을 위해서 책을 제공받아 작성된 서평입니다.

장점

1. 생성 AI 분야를다양한 관점 및 응용에 대한 내용을 통해 다양한 관심사와 수준의 독자에게 유용한 정보를 제공

2. 1부에서는 딥러닝과 AI의기초 개념을 설명하고, 2부에서는 생성 모델의 핵심 개념과 기법을 3부에서는생성 모델을 어떻게 다양한 응용 분야에서 활용할 수 있는지 음악 생성, 이미지 생성, 텍스트 생성, 강화 학습 등의 예시를 통해 활용 가능성을 보여줌

3. 각 생성 모델 기법에 대한 실용적인 예제와 이론적 설명을 통해독자가 이해하기 쉽고 구체적인 적용 방법을 습득할 수 있음

후기

1. 이 책은 AI 및딥러닝 분야에 대한 폭넓은 내용을 다루기 때문에 처음 접하는 독자에게는 내용이 다소 어려울 수 있다. 하지만어려운 내용을 이해하기 쉽게 설명하고 있어 딥러닝의 기본 개념부터 생성 모델의 다양한 유형까지 포괄적으로 다루고 있기 때문에 기초부터 시작하여지식을 쌓아갈 수 있습니다. 특히 실제 코드 예제를 통해 개념을 설명하기 때문에 이해하는 데 큰 도움이되었으며, 이론적인 내용과 함께 실무적인 능력을 키우고자 하는 사람에게 특히 유용하다.

안녕하세요

오늘은 생성형 AI를 배우는 "만들면서 배우는 생성 AI" 도서를 소개하겠습니다. 

제목은 만들면서 배우는 생성 AI이고요.

요즘 생성 AI에 대한 관심도가 높아진 것 같습니다.

저는 직전 학기에서 머신러닝 강의를 수강하면서 생성 AI에 관심을 가지게 되었습니다.

보통 파이썬을 이용해서 만드는 것 같습니다.

책에서도 서론에 파이썬을 배워야하는데 아직 배우지 않았다면~~ 이렇게 말하며 파이썬을 공부할 수 있는 방법을 제시하고 있습니다.

생성 AI도 다양한 모델이 있어서 역시나 어떤 모델을 다루고 있는 책인지를 말해주고 있습니다.

목차는 이렇습니다. 

part1 생성 딥러닝 소개 

ch1. 생성 모델링

ch2. 딥러닝

part2. 6가지 생성 모델링 방식

ch3. 변이형 오토인코더

ch4. 생성적 적대 신경망

ch5. 자기 회귀 모델

ch6. 노멀라이징 플로 모델

ch7. 에너지 기반 모델

ch8. 확산 모델

part3. 생성 모델링의 응용 분야

ch9 트랜스포머

ch10 고급 GAN

ch11 음악 생성

ch12 월드 모델

ch13 멀티모달 모델

ch14 결론

도입 부분에서 이 장의 목표에 대해 소개하고 해당 개념을 설명합니다. 

설명과 함께 그림도 많은 편이라서 생성 ai가 처음이신 분들도 쉽게 받아들일 수 있습니다.

인공지능, 머신러닝 공부를 할 때 가장 부담스러운 부분은 아무래도 수학과 관련된 부분 같습니다.

통계 쪽으로 설명이 많아서 글만 있으면 복잡해보일 수 있는데 그림, 그래프 활용이 많아서 좋았습니다. 

모델의 프레임 워크까지 친절하게 다뤄주고 있습니다.

머신러닝 수업을 들을 때 만났던 mnist를 이 책에서 만나 반가웠답니다.

머신러닝 수업  들을 때도 더 공부해 보고 싶다고 느꼈는데 이 책은 너무 어렵지 않고 최신 모델까지 소개하고 있어서 딱 좋은 것 같습니다.

생성형 인공지능에 관심 있으신 분들께 추천 드립니다. 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

만들면서 배우는 생성AI라고 하면 뭔가 생성모델 쪽 라이브러리를 가지고 실습만 하는 책으로 생각할 수 있겠지만 그렇지 않다. 이 책은 매우 기초적인 내용부터 하나하나 다루고 실무적인 팁까지 다루는 책이다. 

패딩이 무엇인지, 임베딩이란 무엇인지 기초개념까지 저자가 그리고 역자가 하나하나 가르쳐주면서 이끌어가는 책이다. 

사실 처음 AI를 접했을 때 임베딩이라는 단어를 많이 접했고 대충 느낌적인 느낌(?!)으로 임베딩이 뭐겠다 라고 알고는 있었지만, 임베딩이 무엇인지와 같이 기초를 잡고 가지 않아서 나중에 헷갈릴 때가 많았다. 그러니 아무리 활용 위주로 AI를 사용한다고 하더라도 기초적인 용어나 개념같은 건 이런 책을 통해 배우고 가면 좋을 거라고 생각한다.

책이 기초부터 다루고 있긴 하지만 쉬운 책은 아니다. AI가 쉬운 분야가 아니기 때문이다. 하나하나 가르쳐준다고 해도 원래 AI 자체가 어려운 것인데 어느 정도 고생은 해야한다.

그렇게 고생하고 이 책을 본다고 해서 바로 전문 엔지니어급이 될 수 있는 것도 아니고, 미래를 예측할 수 있는 것도 아니다. 다만, 조금 더 그럴 확률이 높아질 수 있을거라고 생각한다. 이 책의 초반부에서 생성모델은 결정론적 모델이 아닌 확률적 모델이라고 강조하듯, 확률적인 사고를 해본다면 이 책을 통해 얻을 수 있는 기대가치는 꽤나 크다고 할 수 있다.

밑줄긋기

p.34~35

생성 모델은 또한 결정적(deterministic)이 아니고 확률적(probabilistic)이어야 합니다. 매번 동일한 값을 출력하는 것이 아니라 다양한 출력 결과를 샘플링할 수 있어야 하기 때문입니다. 모델이 데이터셋에 있는 모든 픽셀의 평균값을 구하는 일처럼 고정된 계산만 수행한다면 생성 모델이 아닙니다. 생성 모델은 생성되는 개별 샘플에 영향을 미칠 수 있는 랜덤한 요소를 포함해야 합니다.

다른 말로 하면 어떤 이미지는 훈련 데이터셋에 있을 것 같고, 다른 이미지는 그렇지 않은 이유를 설명하는 알려지지 않은 확률분포가 있다고 가정합니다. 해야 할 일은 최대한 이 분포에 가깝게 흉내 내는 모델을 만드는 것입니다. 그다음 이 분포에서 샘플링하여 원본 훈련 세트(training set)에 있을 것 같은 새롭고 완전히 다른 샘플을 생성합니다. 

p.36

수학적으로 생성 모델링과 판별 모델링을 정의해보죠.

판별 모델링은 p(y | x)를 추정(estimation)합니다.

즉, 판별 모델링은 샘플 x가 주어졌을 때 레이블 y의 확률을 모델링하는 것이 목표입니다.

생성 모델링은 p(x)를 추정합니다.

즉, 생성 모델링은 샘플 x를 관측할 확률을 모델링하는 것이 목표입니다.

p.37

최근까지 판별 모델링은 머신러닝 분야에서 대부분의 발전을 이끈 원동력이었습니다. 그 이유는 판별 문제에 상응하는 생성 모델링 문제가 일반적으로 훨씬 해결하기 어렵기 때문입니다. 예를 들어 반 고흐 스타일의 그림을 생성하는 모델을 훈련하는 것보다 반 고흐의 그림인지를 예측하는 모델을 훈련하기가 훨씬 쉽습니다. 마찬가지로 찰스 디킨스 스타일의 문장을 생성하는 모델을 만드는 것보다 찰스 디킨스의 글인지 예측하는 모델을 훈련하기가 훨씬 쉽습니다. 최근까지만 해도 대부분의 생성 문제는 근접할 수 없는 영역이었으며 이를 해결할 수 있을지에 대한 의구심이 많았습니다. 창의성을 AI가 따라올 수 없는 순수한 인간의 능력으로 여겼기 때문입니다.

하지만 머신러닝 기술이 발전함에 따라 이러한 가정은 점차 약해지고 있습니다. 지난 10년 동안 이 분야에서 가장 흥미로운 발전은 생성 모델링 작업에 머신러닝을 새롭게 적용하면서 일어났습니다. 예를 들어 아래 그림은 2014년 이후 얼굴 이미지 생성 분야에서 일어난 놀라운 발전 과정을 보여줍니다.

p.41

생성 모델링 프레임워크

- 샘플 데이터셋 X를 가지고 있습니다.

- 샘플이 알려지지 않은 어떤 P_data 분포로 생성되었다고 가정합니다.

- P_data를 흉내내는 생성 모델 P_model을 만들려고 합니다. 이 목표를 달성하려면 P_model에서 샘플링하여  P_data에서 뽑은 것 같은 샘플을 생성할 수 있습니다.

- 따라서 P_model의 바람직한 속성은 다음과 같습니다.

     - 정확도

       생성된 샘플의 P_model이 높으면 P_data에서 뽑은 것처럼 보여야 합니다. 생성된 샘플의 P_model이 낮으면 P_data에서 뽑은 것처럼 보여서는 안 됩니다.

    - 생성

      P_model에서 새로운 샘플을 쉽게 샘플링할 수 있어야 합니다.

    - 표현

     데이터의 다양한 고수준 특성이 P_model로 어떻게 표현되는지 이해할 수 있어야 합니다.

p.43~45

당신의 외모를 모르면서 군중 속에서 당신을 찾고 있는 사람이 있습니다. 이 사람에게 당신 외모를 설명한다고 가정해봅시다. 당신 사진에 있는 픽셀 1의 색상부터 픽셀 2, 픽셀 3 등의 색상을 말하는 식으로 설명하지 않을 것입니다. 대신 상대방이 평균적인 사람의 외모를 안다는 합리적인 가정을 합니다. 그 다음 '나는 금발이다' 또는 '안경을 쓰고 있다'와 같이 픽셀의 그룹에 해당하는 특성으로 이 가정을 개선해갑니다. 이런 설명이 10개 정도만 있으면 상대방은 이를 다시 픽셀로 매핑하여 머릿속에 당신의 이미지를 생성할 수 있습니다. 이 이미지가 완벽하지는 않겠지만 당신을 본 적이 없는 사람도 수백 명의 사람 중에서 당신을 찾을 수 있을 정도로 실제 모습과 비슷할 것입니다.

이것이 표현 학습(representation learning) 이면의 핵심 아이디어입니다. 고차원 표본 공간을 직접 모델링 하는 방식이 아니라 대신 저차원의 잠재 공간(latent space)을 사용해 훈련 세트의 각 샘플을 표현하고 이를 원본 공간의 포인트에 매핑합니다. 다른 말로 하면, 잠재 공간의 각 포인트는 어떤 고차원 이미지에 대한 표현입니다.

실제로 이것은 무엇을 의미할까요? 회색 비스킷 깡통 이미지로 이루어진 훈련 세트가 있다고 가정해보죠.

깡통의 높이와 너비라는 두 가지 특성으로 각 깡통을 고유하게 표현할 수 있습니다. 즉, 훈련 세트의 이미지가 고차원 픽셀 공간으로 주어지더라도 각 깡통의 이미지를 2차원 잠재 공간의 한 포인트로 변환할 수 있습니다. 특히 아래 그림에서처럼 적절한 매핑함수 f를 잠재 공간의 새로운 포인트에 적용하여 훈련 세트에 없는 깡통 이미지를 생성할 수도 있다는 의미입니다.

원본 데이터셋을 간단한 잠재 공간으로 설명할 수 있음을 기계가 깨닫기는 쉽지 않습니다. 먼저 높이와 너비가 이 데이터셋을 가장 잘 설명하는 두 개의 잠재 공간 차원임을 알아야 합니다. 그 다음 이 공간의 한 포인트를 회색 비스킷 깡통 이미지에 매핑하는 매핑 함수 f를 학습해야 합니다. 머신러닝(특히 딥러닝)을 사용하면 사람의 개입 없이 이런 복잡한 관계를 찾도록 기계를 훈련시킬 수 있습니다.

잠재 공간을 활용하는 모델을 훈련하는 장점 중 하나는 의미 있는 잠재 공간에서 표현 벡터를 조작하여 이미지의 고수준 속성에 영향을 미치는 연산을 수행할 수 있다는 것입니다. 비스킷 깡통 이미지가 주어졌을 때 높이를 크게 하려면 개별 픽셀을 어떻게 조정해야 할지 알지 못합니다. 하지만 잠재 공간에서는 간단히 잠재 공간의 높이 차원에 1을 더하고 매핑 함수를 적용해 이미지를 얻을 수 있습니다. 이어지는 장에서는 비스킷 깡통 대신 얼굴 이미지에 적용한 구체적인 예제를 보겠습니다. 

이 책의 뒷부분에서 살펴보겠지만 훈련 데이터셋을 잠재 공간으로 인코딩하고 이 공간에서 샘플링한 다음 디코딩하여 원래 도메인으로 되돌아가는 개념은 많은 생성 모델링 기법에서 널리 사용합니다. 수학적으로 인코더-디코더 기법은 (예를 들면 픽셀 공간에) 데이터가 놓여 있는 고차원 비선현 매니폴드를 샘플링 가능한 단순한 잠재 공간으로 변환합니다. 아래 그림과 같이 이 잠재 공간의 모든 포인트가 잘 구성된 이미지의 표현이 됩니다.

p.48

가능도는 데이터가 아니라 파라미터의 함수입니다. 이를 주어진 파라미터 집합이 올바른지에 대한 확률로 해석해서는 안 됩니다. 다른 말로 하면 파라미터 공간의 확률분포가 아닙니다 (즉, 파라미터에 대해 적분(합)하면 1이 되지 않습니다)

p.49

모든 생성 모델은 궁극적으로 동일한 작업을 해결하는 것이 목표이지만 밀도 함수 p_theta(x)를 모델링하는 방식이 조금씩 다릅니다. 크게 세 가지 방식이 있습니다.

1. 명시적으로 밀도 함수를 모델링하지만 밀도 함수를 다루기 쉽도록 (즉, 계산할 수 있도록) 어떤 식으로 모델을 제약합니다.

2. 다루기 쉬운 밀도 함수의 근사치를 명시적으로 모델링합니다.

3. 데이터를 직접 생성하는 확률적 과정을 통해 밀도 함수를 암묵적으로 모델링합니다.

p.64

이 책의 많은 모델에서는 한 층의 출력이 여러 개의 후속 층으로 전달됩니다. 또는 그 반대로 한 층이 여러 개의 이전 층으로부터 입력받습니다. 이런 모델에는 Sequential클래스가 적합하지 않으며, 훨씬 더 유연한 함수형 API를 사용해야 합니다.

TIP_ 케라스로 처음 선형 모델을 만들 때도 Sequential 모델보다는 함수형 API를 사용하는 것이 좋습니다. 신경망의 구조가 점점 복잡해짐에 따라 장기적으로 더 나은 선택이 됩니다. 함수형 API를 사용하면 심층 신경망의 설계를 완전히 자유롭게 할 수 있습니다.

p.65

Flatten 클래스의 객체를 만든 다음 이 객체를 매개변수 input_layer로 호출했습니다. 파이썬의 객체는 함수처럼 호출할 수 있습니다. 이때 이 객체에 정의된 __call__() 메서드가 호출됩니다. 케라스에서는 이런 식의 객체 호출을 즐겨 사용합니다. 

p.65~66

Input 층은 네트워크의 시작점입니다. 네트워크가 기대하는 입력 데이터 크기를 튜플로 알려주어야 합니다. 배치 크기는 지정하지 않습니다. Input 층에 임의의 이미지 개수를 전달할 수 있기 때문에 배치 크기는 필요하지 않습니다. 따라서 Input 층을 정의할 때 배치 크기를 입력하지 않습니다.

그 다음 Flatten 층은 입력을 하나의 벡터로 펼칩니다. 결과 벡터의 길이는 3,072 (32 * 32 * 3) 입니다. 이렇게 하는 이유는 뒤따르는 Dense 층이 다차원 배열이 아니라 평평한 입력을 기대하기 때문입니다. 나중에 보겠지만 다른 종류의 층은 입력으로 다차원 배열을 사용해야 합니다. 언제 Flatten 층을 사용하는지 이해하려면 층마다 필요한 입력과 출력의 크기를 알아야 합니다.

Dense 층은 기본적인 신경망 구성 요소입니다. 이 층에는 이전 층과 완전하게 연결(fully connected)되는 유닛이 있습니다. 즉, 이 층의 각 유닛은 이전 층의 모든 유닛과 연결됩니다. 연결마다 하나의 (양수 또는 음수인) 가중치가 동반됩니다. 유닛의 출력은 이전 층에서 받은 입력과 가중치를 곱하여 더한 것입니다. 그 다음 비선형 활성화 함수 (nonlinear activation function)를 통과하여 다음 층으로 전달됩니다. 활성화 함수는 신경망이 복잡한 함수를 학습하는 데 아주 중요한 역할을 합니다. 그렇지 않으면 입력을 선형적으로 조합한 값만 출력할 것입니다. 

p.72

전체 데이터셋을 사용해 훈련 스텝마다 그레이디언트를 계산하는 작업은 너무 시간이 오래 걸리고 계산 비용이 많이 듭니다. 일반적으로 32에서 256 사이의 배치 크기를 사용합니다. 요즘엔 훈련이 진행됨에 따라 배치 크기를 증가시키는 방식을 권장합니다.

Samuel L. Smith et al., "Don't Decay the Learning Rate, Increase the Batch Size.", November 1, 2017. https://arxiv.org/abs/1711.00489. 옮긴이주 -> Adam, RMSProp과 같은 옵티마이저는 훈련이 진행됨에 따라 최솟값을 찾기 쉽도록 학습률을 줄여갑니다. 이 논문은 학습률을 줄이는 대신 배치 크기를 늘리는 방식으로 훈련 반복 횟수를 줄이면서 동일한 정확도를 얻을 수 있다고 소개합니다. 케라스 훈련 과정에서 배치 크기를 조정하려면 fit 메서드 대신 train_on_batch 메서드를 사용하세요. 

p.76

합성곱은 원래 계산하기 전에 필터를 뒤집습니다. 필터를 뒤집지 않고 계산하는 것은 교차 상관(cross correlation)입니다. 합성곱 층은 처음에 필터를 랜덤하게 초기화하기 때문에 뒤집는 것이 의미가 없습니다. 실제로 합성곱 층은 교차 상관을 수행하지만 관례적으로 합성곱이라 부릅니다. 

p.79

padding = "same"으로 지정하면 여러 개의 합성곱 층을 통과할 때 텐서의 크기를 쉽게 파악할 수 있기 때문에 유용합니다. padding = "same"인 합성곱 층의 출력 크기는 다음과 같습니다.

(입력 높이 / 스트라이드, 입력 너비 / 스트라이드, 필터 개수)

p.81

입력의 크기는 (None, 32, 32, 3)입니다. 케라스는 None을 사용해 한꺼번에 임의 개수의 이미지를 네트워크로 통과시킬 수 있음을 표현합니다. 네트워크는 텐서에 대해 대수학 계산을 수행하므로 이미지를 하나씩 전달할 필요가 없습니다. 대신 여러 개를 묶어 배치로 전달합니다.

p.82

손실 함수가 NaN을 반환하기 시작하면 가중치가 오버플로(overflow) 오류를 발생시킬 만큼 커졌다는 신호입니다.

p.82~83

신경망에 주입되는 입력 데이터를 스케일 조정하는 이유 중 하나는 처음 몇 번의 반복 훈련을 안정적으로 시작하기 위해서입니다. 네트워크의 가중치가 랜덤하게 초기화되었기 때문에 스케일이 조정되지 않은 입력은 큰 활성화 출력을 만들어 그레이디언트 폭주로 바로 이어질 가능성이 있습니다. 그래서 입력층으로 0~255 사이의 픽셀 값을 전달하는 대신 -1에서 1 사이의 값으로 스케일을 바꿉니다.

입력 스케일을 조정했기 때문에 모든 층의 활성화 출력도 비교적 스케일이 안정되리라 기대할 수 있습니다. 초기에는 맞는 말입니다. 하지만 네트워크가 훈련됨에 따라 가중칫값이 랜덤한 초깃값과 멀어지기 때문에 이런 가정이 무너지기 시작합니다. 이런 현상을 공변량 변화(covariate shift)라고 부릅니다.

배치 정규화(batch normalization)는 이 문제를 극적으로 줄이는 해결책입니다. 방법은 놀랍게도 간단합니다. 훈련하는 동안 배치 정규화 층은 배치에 대해 각 입력 채널별로 평균과 표준 편차를 계산한 다음 평균을 빼고 표준 편차로 나누어 정규화합니다. 채널로 학습되는 두 개의 파라미터가 있습니다. 스케일 파라미터(gamma)와 이동 파라미터(beta)입니다. 정규화한 입력을 gamma로 스케일 조정하고 beta로 이동시켜 출력합니다.

p.84~85

예측할 때는 이 층이 어떻게 동작하는지 궁금할 것입니다. 예측을 수행할 때는 하나의 샘플에 대해 예측을 만들기 때문에 평균과 표준 편차를 계산할 배치가 없습니다. 이 문제를 처리하기 위해 훈련 과정에서 배치 정규화 층이 채널별로 평균과 표준 편차의 이동 평균(moving average)을 계산하여 저장합니다. 테스트할 때 이 값을 사용하여 입력을 정규화합니다.

배치 정규화 층에는 몇 개의 파라미터가 필요할까요? 이전 층의 채널마다 스케일(gamma)과 이동(beta)을 위한 2개의 가중치가 학습되어야 합니다. 이 둘은 학습되는 파라미터입니다. 평균과 표준편차의 이동 평균은 채널마다 계산되지만, 역전파를 통해 훈련되는 것이 아니라 층을 통과하는 데이터에서 계산됩니다. 이 둘은 훈련되는 파라미터가 아닙니다. 종합해보면 채널마다 4개의 파라미터가 있고 2개는 훈련되고 2개는 훈련되지 않습니다.

p.86

p의 확률로 유닛을 드롭아웃하여 모델을 훈련하면 테스트할 때는 모든 유닛을 사용하기 때문에 1/(1-p)배 만큼 더 큰 출력이 만들어집니다. 이를 보완하려고 테스트할 때 출력에 (1-p)를 곱하여 감소시킵니다. 케라스와 같은 구현에서는 테스트할 때 출력을 보정하지 않고 훈련할 때 드롭아웃 층의 출력을 (1-p)로 나누어 증폭시킵니다. 두 방식이 완전히 같지는 않지만 잘 작동합니다.

p.97

인코더는 디코더가 정확하게 재구성할 수 있도록 가능한 한 많은 정보를 내포시키려 하므로 이 벡터를 임베딩(embedding)이라고도 합니다.

오토인코더(autoencoder)는 단순히 어떤 항목의 인코딩과 디코딩 작업을 수행하도록 훈련된 신경망입니다. 이 과정을 통해 출력이 가능한 한 원본 아이템에 가까워지도록 합니다.

p.99

오토인코더는 두 부분으로 구성된 신경망입니다.

- 인코더: 네트워크는 이미지 같은 고차원 입력 데이터를 저차원 임베딩 벡터로 압축합니다.

- 디코더: 네트워크는 임베딩 벡터를 원본 도메인으로 압축 해제합니다 (예를 들어 이미지로 되돌립니다).

생성형 AI에 대한 책은 많은데 대부분 활용하는 방법에 대한 책이었던 것 같다.

직접 한땀한땀 만들어보며 배우는 과정도 필요했기 때문에! 마침 딥러닝도 요즘 정리하고 있고(?) 해서 읽게 되었다. 먼저 생성 모델링과 판별 모델링의 차이는 다음과 같다.

판별 모델링은 p(y|X)를 추정한다. > 샘플 X가 주어졌을 때 레이블 y의 확률을 모델링하는 것이 목표

생성 모델링은 p(X)를 추정한다. > 샘플 X를 관측할 확률을 모델링하는 것이 목표

조건부 생성 모델은 p(X|y)를 추정한다. 예를 들어 여러 종류의 과일이 있는 데이터셋에서 사과 이미지를 생성하도록 요청하는 것!

산업의 추세가, 예측보다는 생성 서비스를 제공하는 기업이 늘어나면서 상황이 변하기도 한 것이다. 블로그 게시물 생성, 제품이미지 생성, 소셜미디어 컨텐츠와 문구 작성, 음원 생성 등...

솔직히 굉장히 어려워보였는데(Oreilly책이 대부분..ㅎㅎ) 어? 굉장히 술술 읽히게 쓰여있다. 특히 중간중간에 예제 코드가 삽입되어있고, 도커를 사용한 방법 등 !

생성AI가 주제인만큼, 삽화는 미드저니로 그려져있다. 1판은 어땠을지 궁금하다. 1판과 비교해보는 것도 재미있을 듯..ㅎㅎ

그리고 중간중간에 삽입된 코드는 라인바이라인으로 설명이 쓰여져 있는데 , 굉장히 친절하다.

지금 보니 번역이 박해선님...! 어쩐지 술술 읽히는 느낌이더라.. 번역도 어떻게 번역하냐에 따라 너무 어려워질 수도 있는데, 원래 한글로 쓰여진 것 마냥 자연스럽게 읽혀서 좋다.

작년 12월부터 올해는 ChatGPT의 해라고 해도 과언이 아닐 것 같다.

생성형 AI는 갈수록 더 중요해질 듯 하다. 특히 교육에서의 추세랑 비슷해보였는데, 정답이 있는 분류, 예측이 메인이었던 일반적인 AI와 달리 창작해내는 과정이 더 중요해지고 있기 때문이다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

생성AI에 관심이 있던 와중에 만들면서 배우는 생성AI 2판을 읽어볼 수 있는 기회를 갖게 되었다.

나 같은 경우 생성AI 중에서도 LLM에 관심이 많은데 (다른 분들도 그렇겠지만) 이 책을 통해 트랜스포머를 활용한 생성AI에 대해 읽어볼 수 있었다. 인코딩 모델로는 BERT가 있고 디코딩 모델로는 GPT가 있다고 읽은 기억이 난다.

새로운 이미지를 생성하는에 있어서 디코더를 사용할 수 있었다. 립시츠 제약은 해석학에서 읽은 기억이 나는데 당시에는 립시츠 정리(?) 그런 것으로 기억이 난다. 연속한 함수인가에 대한 주제였던 것으로 기억이 난다.

이 책은 각각의 생성AI 주제에 대해 소개하고 예제를 제시하고 있다. 각 분야의 생성AI에 대해 관심 있는 분이라면 이 책이 좋은 레퍼런스가 될 수 있다는 생각이 든다.

이 글은 해당 출판사로 부터 도서를 증정받아 작성되었습니다.

들어가며

​

생성 AI는 현재 기술 분야에서 주목받는 핵심 토픽 중 하나입니다. GPT와 DALL﹒E 등의 기술을 통해 AI가 얼마나 창의적으로 행동할 수 있는지의 가능성을 보여주고 있습니다.

특히 생성 AI는 단순히 데이터를 처리하거나 분류하는 것을 넘어, 새로운 데이터나 내용을 스스로 생성할 수 있는 능력을 지녔습니다.

​

이러한 AI 기술의 발전은 우리의 일상생활뿐만 아니라 다양한 산업 분야에도 큰 영향을 미치고 있습니다.

따라서 이 분야에 대한 깊은 이해와 연구는 더욱 중요해지고 있습니다.

​

​

책에 관하여​

​

『만들면서 배우는 생성 AI』는 생성 AI의 세계를 깊게 이해하고자 하는 독자들을 위한 안내서입니다.

사실 서비스를 이용하는 엔드 유저의 입장에서는 생성 AI의 의세계를 깊게 이해할 할 필요까지는 없습니다. 우리가 자동차를 타고 다니지만, 자동차의 이모저모를 다 파악하고, 고칠 수 있는 역량이 필요하지는 않는 것처럼요. 하지만 깊게 이해해보길 원한다면, 또 그 주제가 생성 AI이라면 생성 AI에 대한 깊은 이해를 위해서는 기초적인 AI와 딥러닝의 지식이 필수적이며, 이 책은 좋은 길잡이가 되어 줄 것입니다.

​

이러한 데이비드 포스터는 이 책에서 생성 AI의 기본부터 최신 기술에 이르기까지 상세하게 설명하고 있습니다. 초판에서는 GAN에 대한 설명이 주를 이루었지만, 이후 생성 AI 분야의 급격한 발전에 따라 2판에서는 다양한 새로운 내용과 기술들을 추가하였습니다.

​

책은 크게 세 부분으로 구성되어 있습니다.

첫 번째 부분에서는 생성 AI의 기초와 기본 개념들을 소개하고 있습니다. 여기에서는 생성 AI를 처음 접하는 독자들도 쉽게 이해할 수 있도록 기본적인 내용을 친절하게 설명하고 있습니다.

두 번째 부분에서는 다양한 생성 모델들과 그들의 작동 원리, 장단점 등을 상세하게 다룹니다.

마지막 부분에서는 이러한 기술들이 실제로 어떻게 응용되고 있는지, 그리고 앞으로의 전망에 대해서도 다룹니다.

​

조금 더 자세히 들여다보면

Part 1은 생성 모델의 핵심 개념을 소개합니다. 여기에서는 '생성 모델의 정의', '기존 AI와의 차이점', 그리고 '생성 모델 학습에 필요한 기본 수학적 개념'에 대해 세세하게 설명합니다. 딥러닝의 주요 개념인 Data type, Multi-Layer Perceptron (MLP), Model, Loss function, Optimizer, Training, Evaluation, CNN, Normalization 등을 체계적으로 다루며, 이를 통해 생성 AI의 세계에 대한 튼튼한 기반을 다질 수 있도록 도와줍니다.

​

Part 2는 주요 생성 모델링 기법에 대한 깊이 있는 토론을 제공합니다. 변이형 오토인코더 (VAE), 생성적 적대 신경망 (GAN), 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델 등 6가지 주요 생성 모델을 중심으로, 이들의 기본 아이디어, 알고리즘, 그리고 한계점 및 발전 방향에 대해 상세히 살펴봅니다.

​

Part 3은 생성 AI의 실제 응용 사례와 그 중요성에 대해 다룹니다. 딥페이크, 저작권 등 현재 화두가 되고 있는 문제들과 생성 AI의 미래 방향성, 그리고 이에 따른 윤리적 고민에 대한 논의를 통해 독자들에게 깊은 통찰력을 제공합니다.

​

이 책을 통해 독자는 생성 AI의 본질부터 최신 동향까지 체계적으로 이해하게 될 것입니다. 생성 AI의 미래적 적용과 그로 인한 사회적, 윤리적 문제에 대한 성찰도 함께 제공하여 독자들의 깊은 통찰력을 높이는 데 도움을 줍니다.

​

​

마치는 말

​

● 이 책은 특히 다음과 같은 독자층에 강력히 추천합니다.

- AI 및 딥러닝의 세계에 첫 발을 디딘 초보자

- '생성형' 딥러닝 기술에 깊은 흥미를 가진 이들

- 딥러닝의 모든 단계를 체계적으로 학습하고자 하는 연구자 및 학생들

- 챗GPT와 같은 혁신적인 모델의 기원과 발전에 대한 깊은 호기심을 가진 전문가들

● "<만들면서 배우는 생성 AI>"는 딥러닝의 전반적인 개념부터 최첨단 '생성형' 기술까지 깊이 있게 탐구합니다. 이 책은 딥러닝 모델의 구성부터 복잡한 알고리즘까지 단계별로 접근, 특히 텍스트 생성과 관련된 부분은 딥러닝 기반의 콘텐츠 창작에 관심 있는 전문가들에게 매우 유용할 것이라 생각됩니다.

​

● 분량이 480쪽입니다. 그러나 딱딱하거나 마냥 지루하지 않습니다.

- GAN부터 트랜스포머, 확산 모델에 이르기까지의 다양한 딥러닝 영역을 실제로 구현하며 체험하는 과정을 차근차근 밟아가며, 생성형 딥러닝과 그 세계에 깊숙히 들어가고 싶다면, "<만들면서 배우는 생성 AI>"라는 책의 일독을 꼭 권합니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

0. 도서 정보

 1) 도서명 : 만들면서 배우는 생성 AI

 2) 저자 : 데이비드 포스터

 3) 링크

1. 후기

 - 인공지능에 관련된 서적을 보면 대부분 비슷비슷하다고 느껴지는 경우가 많다. 경사하강법부터 시작하여 RNN 이 어떻고... 하다 마무리가 되는 경우가 많다. 해당 도서의 경우 PART 1 까지는 동일한 내용으로 이뤄지나, PART2 부터는 실무에서 쓸법한 여러 예제부터 웬만한 도서에서는 다루지 않는 음악생성까지 다루고 있다. 그렇기에, 딥러닝에 대한 여러가지 예제를 통해 학습하고자 하는 분들에게는 해당도서를 추천 드린다.

 올해 중반에 회사에서 Generative AI 제품을 출시하며 관련 개념과 콘텐츠들을 접하기 시작했다. 우후죽순으로 나오는 생성형 AI에 큰 궁금증을 가졌으나 개념을 검색해도 추상적으로만 느껴졌다. 그래서 기존의 AI와의 큰 차이점은 무엇일까. 데이비드 포스터가 쓴 '만들면서 배우는 생성 AI'는 생성 AI 개념을 처음 접하는 사람도 읽을 수 있도록 집필했다고 한다. 더 나아가 AI의 개념에 익숙치 않은 독자에게도 예시를 들어 쉽게 설명한다. 표본 공간, 확률 밀도 함수, 모수 모델링, 가능도 등 AI의 원리를 설명하는데 있어 필요한 개념들도 간략히 짚고 넘어간다. 

심지어 어떤 이론은 우리가 현실이라고 인지하는 것이 이 생성 모델의 출력이라고 주장합니다. 분명한 것은 이런 능력을 가진 기계를 만드는 방법을 안다면 뇌의 작동 원리와 인공 일반 지능을 이해하는 데 핵심적인 도구가 될 것입니다. 

39쪽, 만들면서 배우는 생성 AI.

  이 책은 개념을 쉽게 설명하고자 개념별로 쉬운 예시를 든다. 가령, 한 번도 본 적 없는 사람의 외모 묘사를 듣고 상상하는 예시가 있다. 그 사람에 대한 첫번째 정보로는 금발이라는 정보를 얻었다. 이후, 안경을 썼다는 정보를 얻게된다. 이 과정에서 우리는 머릿속에서 누군지 모를 대상의 이미지를 만들어 나간다. 이는 곧 인간이 픽셀 그룹에 해당하는 특성으로 가정을 개선해나간다는 것을 의미한다. 설명이 더해질수록 픽셀을 맵핑하여 머릿속에 이미지를 생성한다. 이러한 사고 과정은 표현 학습에서 착안하여 고차원 표본 공간을 직접 모델링하는 방식이 아닌 저차원의 잠재 공간을 사용해 훈련 세트의 각 샘플을 표현하고 이를 원본 공간 포인트에 맵핑하는 방식을 사용한다. 인공지능의 원리가 말 그대로 인간의 뇌의 사고과정을 착안한 것이 흥미로웠다. 우리가 실제로 생각하는 방식이 담긴 원리라 이해하기에도 어렵지 않았다. 

​

생성 모델링은 주어진 데이터셋과 유사한 새로운 데이터를 생성하도록 모델을 훈련하는 머신러닝의 한 분야입니다. 

33쪽, 만들면서 배우는 생성 AI.

 

 최근까지 머신러닝 분야의 주된 연구 사항이었던 판별 모델링을 설명하고 생성 모델링의 예시로 생성형 AI의 개념 또한 설명했다. 판별 모델링이 예측에 중점을 두었다면 생성 모델링은 창조성에 중점을 두는 듯 했다. 포인트가 다른 만큼 쓰이는 분야도 다르다. 생성형 모델링은 콘텐츠에서 조금 더 두각을 드러낼 듯하다. 

​

 이 책에서는 생성 AI에 대한 예제가 등장한다. 주로 도커에서 개발하며 깃허브에서 예제코드를 참고할 수 있다고 한다. 아래 url에서 각 용도에 맞게 필요한 자료를 활용하면 도움이 될 것이다. ​

1. arXiv

• 
  이 책에 수록된 논문은 과학 연구 논문을 무료로 호스팅하는 arXiv에서 대부분 확인 가능
  


• 
  https://arxiv.org
  

2. Papers with Code

• 
  다양한 머신러닝 작업에 대한 최신 결과와 논문, 공식 깃허브 저장소 링크를 찾을 수 있는 웹사이트인 Papers with Code. 다양한 작업 중 어떤 방법이 가장 높은 성능을 내는지 빠르게 파악하는데 용이함.
  


• 
  https://paperswithcode.com
  

3. Keras

• 
  활용 예제 차용 사이트. 새로운 모델과 예제가 지속해서 추가되고 있음.
  


• 
  https://oreil.ly/1UTwa
  

4. Git

• 
  https://git-scm.com/download
  

    "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[나의 한줄 추천사]

- 이미지, 텍스트, 음악 데이터를 이용해서 이미지, 텍스트, 음악 를 생성해주는 생성AI 에 대한 기본 개념을 이해하는 책이다.

​

[책 추천 이유]

- 왜 똑같은 데이터를 넣고 똑같은 데이터를 만들어 내는게 무엇인 중요한가? 한때 오토인코더 모델을 보았을때 생각한 적이 있었다. 오토인코더 모델이 엄청나게 중요한게 인코더를 통해서 입력한 피처 데이터를 잠재공간으로 임베딩 시켜서 새로운 변환을 만들어낸 것이었으며, 디코더는 잠재공간에서 다시 원본 피처들을 복원하는 과정을 걸쳐서 새로운 형태의 데이터를 뽑아 낼 수 있다는 사실을 깨달았다. 단순하게 원본 데이터를 그대로 만들어 내는 것은 의미가 없지만, 원본 데이터의 특징을 뽑아낸 잠재공간의 임베딩 모델을 가지고 원본을 만들어 내는 일은 완전히 다른 의미였던 것이다. 이 부분에 대한 궁금증을 이책에서 이미지, 텍스트, 음악 데이터를 통한 생성 AI 로 천천히 이해하기 쉽게 풀어서 설명해 준다..

​

[내가 찾고자 했던 질문들]

1. 
   

   
   이미지의 생성 모델은 어떻게 있는가?
   

   
   
   
   
   1. 
      

      
      변이형 오토인코더(VAE) : 고차원 입력 데이터를 저차원 임베딩 벡터로 압축하고 압축 해제 시켜서 이미지를 생성한다.
      

      
      
   
   
   2. 
      

      
      GAN : 생성자와 판별자 두 적대자의 싸움형태로 이미지를 판별후 생성한다.
      

      
      
   
   
   3. 
      

      
      자기회귀모델 : 잠재 확률 변수가 아닌 시퀀스에 있는 이전값을 바탕으로 텍스트 (LSTM), 이미지 (PixelCNN)를 생성한다.
      

      
      
   
   
   4. 
      

      
      노멀라이징 플로 모델(RealNVP) : 다루기 쉽고 명시적인 데이터 생성분포 모델링할 수 있는데, 맵핑함수의 형태에 제약을 두는 점이 차이점이다.
      

      
      
   
   
   5. 
      

      
      에너지기반 모델(EBM) : 물리시스템 모델링의 실수값 0 ~ 1사이로 정규화 함수인 볼츠만 분포에 어떤 이벤트의 확률을 표현할수 할수 있다.
      

      
      
   
   
   6. 
      

      
      확산(Diffusion) 모델 : 확산(Diffusion) 열역학 확산의 영감을 받아 연속해서 매우 조금씩 이미지에서 잡음을 제거하여 모델을 훈련시켜서 이미지를 생성시킨다.
      

      
      
   
   
   
   


2. 
   

   
   텍스트의 생성 모델은 어떻게 있는가?
   

   
   
   
   
   1. 
      

      
      GPT : 트랜스포퍼의 디코더 부분을 이용하였으며, temperature 이용해서 0~1 사이 조정하여 0일때는 정확한 답을 생성하는 형태로하며, 좀더 다양한 창의적 답변을 만들때는 1에 가깝게 조정해준다.
      

      
      
   
   
   
   


3. 
   

   
   음악(Music) 생성 모델은 어떻게 있는가?
   

   
   
   
   
   1. 
      

      
      MuseGAN : 트랜스포터의 디코더 부분을 이용하였으며, midi 파일을 input 으로하여 시퀀스를 에측하는 형태의 음악을 생성한다.
      

      
      
   
   
   
   

4. 추가적인 소스자료를 구하고 싶다면?

-> https://github.com/rickiepark/Generative_Deep_Learning_2nd_Edition

​

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

​

#생성AI

#만들면서배우는생성AI

#파이썬

#오레일리

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

감안하시고 봐주시면 되겠습니다.

제가 하는 리뷰는 최대한 그 내용을 사실대로 펼쳐놓고 그 펼쳐놓은 내용을 독자들이 보고 판단할 수 있도록 쓰려고 노력하고 있습니다.

펼쳐놓은 내용을 보시고, 관심있는 부분이 있다면 참고하셔서 공부하시면 되지 않을까 싶습니다.

원래 1판이 있었던 모양인데 2판을 찍으면서 꽤 많은 부분이 업데이트 된 모양이다.

그도 그럴 게 요즘 GPT, stable diffusion 등 바야흐로 딥러닝이 실생활에 응용되는 터라..

달라진 점은 다음과 같다.

1. 최신 생성 모델 추가 : 자기회귀 모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델

2. 트랜스포머 내용 확대 : 어텐션, 멀티헤드 어텐션, 코잘 마스킹, 위치 인코딩, 인코더-디코더 구조

3. 다양한 GAN 구조 소개 : ProGAN, StyleGAN/StyleGAN2, SAGAN, BIGGAN, VQ-GAN/Vit VQ-GAN

4. 멀티모달 모델 추가 : DALL-E2, Imagen, 스테이블 디퓨전, 플라밍고

책은 꽤 자세하게 생성 딥러닝에 대해서 소개한다. 즉 이론적 내용이 코드와 함께 꽤 자세히 나오므로 이런 내용을 알고 싶은 사람들에게는 좋을 것으로 보인다.

딥러닝에 대한 기초적 이론 및 코드에 대한 이해가 끝나면 다음으로는 6가지 생성 모델링 방식에 대해 소개한다.

- 변이형 오토인코더

- 생성적 적대 신경망

- 자기회귀 모델

- 노멀라이징 플로 모델

- 에너지 기반 모델

- 확산 모델

5가지 방식에 대한 부분 이후에는 생성 모델링의 응용 분야에 대해서도 이론과 함께 소개한다.

- 트랜스포머

- 고급 GAN

- 음악 생성

- 월드 모델

- 멀티모달 모델

생각보다 많은 모델이 있었단 것을 알고 업데이트가 필요한 사람이라면 한번 읽어봐도 좋겠다는 생각이 들었다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

과거부터 지금에 이르기 까지 다양항 생성 딥러닝 모델을 다루고 각각 모델들을 기본 개념부터 차근차근 설명하고 파이썬 코드를 통해 구현할 수 있도록 독자들이 차근차근 스탭 밟아가며 이해할 수 있도록 도와주는 책인거 같아요 ㅎㅎ

저는 읽다가 3부에서 살짝 막혔지만 꾸준히 완독하여 저만의 모델을 한번 만들어보는게 목표입니다. 

다들 열심히 책을 읽어보아요 파이팅!

보통 기계와 사람의 차이점은 창조적 능력에 있다고 많이 말하곤 한다. 그러나 이 이야기는 인공지능의 등장과 함께 더 이상 옳은 얘기가 아니게 되었다. 최근 각광을 받고 있는 대화형 인공지능 챗GPT나 미드저니와 같은 인공지능 서비스를 보면, 스스로 글도 창작하고, 다양한 이미지도 그려준다. 심지어 문학이나 사진 공모전에서 수상까지 하고 있다. 창조적 능력은 더 이상 인간만의 전유물이 아니게 된 것이다.

이런 창조적 능력은 생성 AI에서 이뤄지고 있다. 생성 AI는 생성 모델링을 이용한다. 생성 모델링은 훈련과 샘플링을 통해 새로운 샘플을 만든다. 예를 들어 다수의 말 사진 샘플을 인공지능이 훈련해 뒀다가 사용자가 원하는 것을 주문하는 것을 그것에 맞춰 샘플링하여 새로운 이미지의 말 사진을 만들어 내는 것이다. 달리나 미드저니는 이미지를 만들어 내고, 챗GPT는 텍스트를 그렇게 생성하는 것이다.

노래 잘하는 사람, 춤 잘 추는 사람, 외국어를 잘하는 사람, 이렇게 사람마다 잘하는 특기가 다 다르듯이 인공지능도 사용하는 모델에 따라 잘 하는 것이 다르다. X레이나 CT 사진에서 어떤 질병을 찾아내는 것은 판별 모델을 사용한다. 이건 새로운 것을 만드는 일보다는 비교해서 무언가를 찾아내는 데 특화된 모델이다. 반면 생성 모델은 앞에서 말한 뭔가 새로운 것을 만드는 일을 잘한다.

데이터 과학자 데이비드 포스터 저자의 책, '만들면서 배우는 생성 AI 2판'에서 익히는 것이 바로 학습을 통해 새로운 것을 만들어 내는 딥러닝 모델들이다. 생성 AI와 관련된 각종 모델의 개념을 기초부터 배우고, 코드도 작성하며 활용법을 익힌다.

처음 '만들면서 배우는 생성 AI'을 봤을 때는 컬러로 되어 있고, 박스 처리된 각종 보충 설명들이 바로 눈에 들어와 뭔가 자유로운 구성인가 했는데, 차례도 확인하고, 내용도 읽어 보니, 무척 구조적으로 잘 분류된 형태의 책이었다. '이 장의 목표'가 각 장마다 제일 먼저 나오고, 마지막에는 요약으로 구성하고 있다. 학창 시절 자주 봐왔던 각종 학습 교재가 언뜻 교차되면서 교과서라는 단어가 떠올랐다. 생성 인공지능 교과서가 바로 이 책이라 할 수 있었다.

'만들면서 배우는 생성 AI'은 3부 14장으로 구성되어 있다. 1부에서는 생성 AI를 익히는데 가장 기초가 되는 생성 모델링, 딥러닝, 케라스에 관한 설명을 하고 있다. 워밍업 단계로 구체적인 모델들을 배우기 전에 필요한 것들 이야기하고 있다.

2부에서는 생성 인공지능 구축에 쓰이는 6가지 기법, 변이형 오토인코더, 생성적 적대 신경망, 자기회귀모델, 노멀라이징 플로 모델, 에너지 기반 모델, 확산 모델 같은 것을 알아본다. 기초부터 하나씩 알아본다. 그런데 재미있는 것은 각 모델 설명에 앞서 이상한 이야기들이 나온다. 이는 각 모델들의 개념을 스토리텔링 형식을 빌어 말하고 있는 것이다. 이런 비유는 기억을 떠올리는데 트리거, 방아쇠 역할을 한다. 그 이야기를 중심으로 마인드맵을 그리듯이 보다 상세한 내용들을 확장할 수 있었다. 참 영리한 저자다.

3부에서는 앞에서 배운 것들을 활용해 보는 파트다. 챗GPT 개념인 어텐션에 의존하는 신경망인 트랜스포머를 시작으로 GPT가 무엇인지 전체적으로 알아본다. 이어 이미지와 음악 분야에 기능별로 활용하는 보다 구체적인 코드를 작성해 본다. 여기서는 추가로 강화학습, 달리, 플라밍고에 관한 것도 익힌다. 텍스트용 생성 AI에 쓰이는 대규모 언어 모델인 LLM에 대해서도 다루고 있다.

앞에서 '만들면서 배우는 생성 AI'를 교과서라고 지칭했는데, 좀 더 첨언하자면, 친절한 교과서다. 설명이 참 잘되어 있어, 좀 더 쉽게 이해할 수 있었다. 이해와 기억을 오래 지속하기 위해서는 곳곳에 등장하는 개념도와 같은 것을 귀찮아도 명확히 살펴 보는 것이 좋다. 이걸을 잘 알아두면, 다른 책을 보거나, 사람들에게 설명하는 데도 도움이 된다.

다만 '만들면서 배우는 생성 AI'는 저자가 생성 AI에 관한 사전 지식이 없다는 가정하에 지은 책이라고 되어 있으나, 어디까지나 생성 AI를 말하는 것이지, 인공지능 지식이 전혀 없다는 가정이 아니다. 따라서 인공지능 기본 지식이 전혀 없다면, 어려울 수 있다. 파이썬 언어도 알고 있어야 한다. 본문에 나오는 예제 코드는 중요 라인마다 구체적으로 설명이 잘되어 있어, 어려운 편은 아니다.

아울러 수학 지식도 많이 필요하다. 곳곳에 각종 수학 공식들이 나온다. 만일 자신이 수학 지식이 모자란다면, 부족한 부분을 체크해두고, 건너 뛰어도 된다. 일단 전반적인 개념만 알고 있어도 얻는 것이 많기 때문이다. 나중에 저자가 추천하는 수학 공부 자료 또는 인공지능 관련 수학 서적을 참고하면 된다.

이번 '만들면서 배우는 생성 AI'는 2판이다. 안내된 추가 부분을 보면, RealNVP, EBM, DDM, StyleGAN, VQ-GAN, MuseGAN 등 전체적으로 추가된 내용이 많은 것으로 보인다. 보다 더 최신의 생성 AI를 정보를 얻기 위해서는 2판이 유용할 것이다.

요즘 AI 쪽을 보면, 애니에 자주 등장하는 다른 차원의 포탈이 열리며, 각종 마물이 쏟아지는 모습이 연상된다. 그만큼 인공지능 쪽에 다양한 시도와 다양한 서비스가 벌어지고 있다. 이제 개발자도 인공지능이란 마물에 잡아 먹힐 수 있다는 판국인 만큼 더 높은 차원의 스킬과 지식을 쌓을 필요가 있다. '만들면서 배우는 생성 AI'를 교과서 삼아 레벨 업 하면 좋을 것이다.

게다가 생성 AI를 익혀두면 써 먹을 곳도 많다. 이미지, 작곡, 작문 뿐만 아니라, 패션, 자동차 등 각종 디자인이며, 의학, 게임 등 아이디어만 있다면, 도전해 볼 만한 곳이 많다. 아직까지 블루오션인 것이다. '만들면서 배우는 생성 AI'는 개발자, 학생 뿐만 아니라, 생성형 AI 비즈니스를 생각하는 분 모두에게 요긴할 것이다.

Chatgpt 를 시작으로, 생성형 AI 붐이 큰 화두입니다. 이 책에서는, 이와 관련된 딥러닝 모델을 다루면서 실습하고 있습니다.

기본적인 파이썬과 딥러닝에 대한 기본기를 갖춘 상태에서 보면 좋을 책입니다. 

코드 자체는 크게 어렵지는 않으나, 딥러닝 프레임워크를 어느정도 써본 상태에서 보는 전제입니다.

박해선님이 번역하신 책이라서, 번역에서 문제를 느끼기 어려웠습니다. 생성형 Ai는 딥러닝 관련 서적에서 일부 챕터로만 다뤘는데, 생성형 AI에 특화되서 모델과 실습을 서술한 이 책은 꽤 재미가 있습니다. 사이드 프로젝트나 회사에서 관련해서 업무를 보고 있다면, 큰 도움을 받을 수 있습니다. 

컬러 인쇄와편집이 잘되어 있어서, 가독성이 좋습니다. 생성형 AI에 대한 실습과 기본을 다지고 싶은 분들에게 강력히 권하고 싶습니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

생성모델.. 정말 쉽지 않다.
최근에 들어서는 Web UI를 활용해서 너도나도 이미지 생성도 해보고, ControlNet, LoRA 등등 다양하게 이에 붙여서 누구나 만들어 볼 수 있도록 활용적인 측면에서는 진입장벽에 매우 낮아졌지만,
이론적으로 접근했을때, 이 영역은 결코 쉽지 않은 영역임에 틀림 없다.
​
실제 Diffusion의 이론역시 엄청 간단하게, Noise를 점차 더하고, 점차 뺀다. 라고만 설명했지만 사실 이 배경에는 엄청난 수학적인 식들이 존재하고, 이전에 나온 에너지 베이스 모델, 노멀라이징 플로 모델 역시 책을 보면서도 아직 멀었다라고 밖에 안느껴졌다.
​
이 책은 그만큼 다양한, 거의 모든 생성모델에 대해서 다루고 있으며, 이 책에서 모르는 내용들을 찾아보면서 공부해나가면 틀림없이 생성모델에 대해서는 유사 전문가 타이틀까지도 달 수 있지 않을까 싶다.
​
무엇보다 Part 3에서 이러한 생성모델들에 대해서 활용 방법들이나, 다양한 생성모델들을 접할 수 있어서 정말 좋은 책이었고, 현재 회사에서도 비슷한 생성모델을 다루기에 업무에도 큰 도움이 될 것 같았다.
+. Part3도 내용이 만만치 않음은 절대 잊지 말자.
자세한 내용은 블로그를 참고해주세요
https://blog.naver.com/ab415/223249900784

AI나 빅데이터는 잘 모르지만 Chat GPT의 수집, 작동 원리등이 궁금했는데 좋은 기회가 되어 읽게된 책이다.

크게 3개의 파트로 이루어져 있으며

파트 1은 생성 모델링에 대한 설명과 핵심 확률 이론, 생성 딥러닝 예제 코드를 제공한다. 이후 설명하는 파트들의 핵심 개념을 설명하고 있는 부분이다.

파트 2는 생성 모델링중 6가지 방식인 변이형 오토 인코더, 생성적 적대 신경망, 자기회귀 모델, 노멀라이징 폴로 모델, 에너지 기반 모델, 확산 모델들에 대한 개념들을 설명하고 있는데 챕터 이름만 봐서는 어려워 보이지만 독자의 이해를 도울 수 있는 그림들이  꽤 많이 있어서 흐름을 이해하기 쉽다.

파트 3은 실제 샘플 소스로 학습이 가능한 파트로 챕터 2가 잘 이해가 가지 않더라고 실습과 함께 진행하다보면 어느정도 감이 온다. 아마도...

총평.

딥러닝의 기초부터 알려줌.

AI에 관심이 있는 초보 개발자에게도 추천해줄만한 좋은 책!

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

생성형 AI 에 대한 관심이 많아지고 이 분야를 공부하고 있었는데 마침 좋은 책이 리뷰도서 목록에 있어서 선택하게 되었다. 아무래도 분야가 넓고 수학, 통계, 프로그래밍 등이 섞여서 나오다 보니 무엇이 기초인지, 또는 무엇부터 공부를 해야 되는지 알기가 쉽지가 않았다. 그런데 다행히도 이번에 선택한 책을 보면서 전반적인 지식을 습득할 수 있게 되었다. 

이 책에는 이론도 나오고 프로그래밍에 대한 구현도 나온다. 그리고 수학 공식들도 나온다. 하지만 아래 그림처럼 자세한 설명을 해주고 있기 때문에 이론적인 내용을 이해하는데 큰 도움이 된다. 

파이썬 코드들도 중간중간 나오면서 따라 하면서 실습을 해볼 수 있다. 하지만 코드가 익숙하지 않더래도 코드부분은 생략하고 내용만 읽어간다면 기초 지식을 충분히 쌓을 수 있다.  

하지만 이 책을 가장 효율적으로 사용하는 방법은 실습과 병행하는 것이다. 이 책의 뒷부분으로 갈수록 코드도 길어지고 그래프와 공식들이 많이 나온다. 이런 부분들을 이해하기 위해서는 어느정도 파이썬 코드에 대한 이해가 필요하다. 

이 책은 많은 그림과 설명으로 독자들이 이해를 하는데 돕고 있는 책인것은 확실하다. 그리고 이 책을 이해하기 위해 독자가 갖추어야 하는 최소한의 지식으로는 파이썬 코드를 이해할수 있는 능력 정도가 될것 같다. 

  "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

Intro​

최근 생성 AI는 AI 분야에서 가장 뜨고 있는 분야라고 생각한다. OpenAI의 GPT4부터 최근에는 DALL·E 3까지 많은 발전을 이루고 있는 분야이다. OpenAI뿐만 아니라 다른 기업들에서도 엄청난 제품들을 만들어내고 있다. AI가 점점 더 우리의 생활을 편하게 해주며 좀 더 가까워지고 있는 모습이다. 이런 세상 속에서 생성 AI에 대해 더 궁금해졌고, 이 책을 읽게 됐다. 정말 GAN을 공부했을 때가 엊그제 같은데, 진짜 빠르게 발전했다. 앞으로 AI가 얼마나 더 발전할지 한편으로는 무섭기도 하지만 인공지능을 공부하겠다고 마음 먹은 이상 포기하지 않고 계속 되는 데까지는 공부해보려고 한다.

Book Review​

만들면서 배우는​

정말 제목을 잘 지었다고 생각한다. 직접 케라스로 모델을 만들어 보면서 하나하나 공부하는 구조이다. 이런 책이 정말 좋다. 이론적인 부분만 공부하다가는 이해가 잘되지 않는 경향이 있다. 그래서 이론적인 부분을 공부하면서 실습도 병행하는 것이 정말 좋다. 이 책도 그런 책이다.

되도록 쉬운 설명​

저자가 많은 신경을 쓴 책이라 생각한다. AI 분야 중에서도 생성 AI는 정말 어려운 분야라고 느낀다. 그래서 이 책을 읽기 전에는 뭐랄까 예전에 GAN을 공부했던 기억이 떠오르면서 엄청 어려울 것 같았다. 그러나 저자가 충분히 이해할 수 있도록 예시를 들기도 하고 그림 삽화가 매우 적절하게 있어 책을 편하게 읽을 수 있었다. 그림들도 거의 직접 논문에서 발췌한 것이었다. 수많은 논문들을 읽는 대신 이 책을 편하게 읽을 수 있었다. 영어가 어렵고, 논문을 읽기 힘드신 분들께는 도움이 되지 않을까 싶다. 또한, 믿을 수 있는 역자님께서 번역하셨기에 번역에 큰 의심은 하지 않고 읽어도 됐다.

특히 좋았던 부분​

아무래도 가장 좋았던 부분은 이 책의 마지막 부분이었다. 꽤 최신 기술인 DALL·E 2와 스테이블 디퓨전 구조를 조금이나마 공부해 볼 수 있다는 것 또한 이 책의 장점이라 생각한다. 또 좋았던 부분은 마지막에 생성 AI의 타임라인이 나오는데 지금까지 어떤 모델들이 있었고 어떻게 발전하고 있는지 알아볼 수 있어서 좋았다.

대상 독자​

생성 AI를 전혀 몰라도 읽을 수 있는 책이지만 그래도 기본적인 딥러닝 개념을 알고 최신 딥러닝 기술들에 대해서도 관심 있고 공부하신 분이 읽으면 도움이 될 것이라 생각한다. 또한, 생성 AI에 대해 더 깊게 공부하고 싶은 분들께도 추천한다.

* 본 도서는 <미술관에 GAN 딥러닝 실전 프로젝트>의 개정판입니다.

* 이 포스팅은 한빛미디어 <나는 리뷰어다> 활동을 위해 책을 제공 받고 작성된 도서 리뷰글 입니다. 

< 도서 표지 사진 >

< 책 소개 >

진화와 혁신의 경계를 넘는 생성 AI 완벽 가이드 !!

이 책은요~ 딥러닝 기초부터 최신 생성 AI 모델까지 상세하게 설명되어 있어요.

유용하고 가독성이 높은 예제코드와 함께 직관적인 설명과 영리한 비유가 담겨있어 흥미롭게 책을 읽으실 수 있고요.

학생과 실무자를 위한 훌륭한 책이란 생각이 드네요.

컴퓨터를 활용한 창작에 관심이 있다거나, 생성AI에 관심이 있으신 분들, 또는 코드를 다룰 줄 아는 크리에이티브 기술자이고 현재 작업에 딥러닝을 접목하고 싶다 하시는 분들은 꼭 한번 읽어 보시길 바랍니다.

.... 자세한 이야기는 블로그 url 참고) https://blog.naver.com/fairy_tale_neverland/223249700123

"생성 모델에 대해 사전 지식이 없는 독자들을 위해 집필되었으나, 생성 모델을 다루는 분들이 그간 등장한 기법과 활용을 요약 정리하는데도 유익한 책입니다. 생성 AI를 학습한다면 버릴 페이지가 없는 책입니다." 서평 바로가기: https://foss4g.tistory.com/1974

현재의 기술 트렌드는 단순히 데이터를 분석하는 것에서 벗어나, 창조와 발명을 하는 AI의 세계로 확장되고 있다. 이러한 변화의 중심에는 '생성형 딥러닝'이 있다. 그런 생성 AI를 탐구하며 실질적으로 만들어나가는 방법을 알려주는 책이 바로 <만들면서 배우는 생성 AI>이다.

일반적으로 AI와 딥러닝의 원리나 개념에 대해서는 많은 책들이 소개되어 있다. 그러나 이 책은 다르다. 실제로 생성형 AI를 만들어보면서 배울 수 있는 실전적인 내용과 예제 코드가 풍부하게 담겨 있다.

생성형 AI의 세계에서는 단순히 데이터를 처리하는 것이 아니라, 그것을 통해 새로운 글이나 이미지, 심지어 영상까지 만들어낼 수 있다. <만들면서 배우는 생성 AI>는 이러한 과정을 기본 모델에서부터 복잡한 모델까지 이해하기 쉽게 설명하고 있다.

생성 AI의 기본부터 고급 기술까지 단계별로 학습할 수 있다는 점은 이 책의 큰 장점이다. 파이썬 코딩 경험이 있다면, 누구나 쉽게 AI를 활용한 창작에 도전할 수 있다. 그리고 그 과정에서 AI의 무한한 가능성과 창작의 기쁨을 느낄 수 있다.

이 책을 다음과 같은 분들께 추천하고 싶다.

- AI와 딥러닝에 관심이 있는 초보자

- '생성형' 딥러닝에 특별한 관심이 있는 분들

- 기본부터 심화까지 체계적으로 딥러닝을 배우고 싶은 분들

- 챗GPT와 같은 모델의 발전 과정에 궁금증을 가진 분들

<만들면서 배우는 생성 AI>를 통해 딥러닝의 기초부터 최신의 '생성형' 기술까지 배울 수 있었다. 특히, 딥러닝 모델을 처음 만들어 보는 것부터 복잡한 모델을 단계별로 직접 구현해볼 수 있다는 것에 큰 매력을 느꼈다. 텍스트 생성에 관한 부분은 딥러닝을 활용한 콘텐츠 생성에 관심이 있는 사람들에게 눈길을 끌 것 같다.

<만들면서 배우는 생성 AI>는 최신 딥러닝 기술의 핵심을 알차게 담아낸 가이드북이다. 이 책을 통해 GAN에서 시작해 트랜스포머, 확산 모델까지, 딥러닝의 다양한 영역을 직접 구현하며 체험할 수 있다는 것을 깨달았다. 딥러닝의 세계에 발을 디디고 싶다면, 이 책을 한번 쯤은 꼭 펼쳐봐야 할 것이다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

도서명: 만들면서 배우는 생성 AI ebook

출판사: 한빛미디어

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

세줄요약

생성형 모델링과 딥러닝에 대한 일반적인 소개

생성형 모델을 구축 기법 설명 - VAE, GAN, LSTM/PixelCNN, RealNVP, 랑주뱅역학, DALL-E/StableDiffusion

실제 이미지 생성, 글쓰기, 음악작곡 작업

후기

ChatGPT 3.5 발표 이후 세상은 급변하고 있습니다.

많은 앱들이 ChatGPT를 활용하여 다양한 서비스를 제공하고 있습니다.

물론 환각이라는지, 악의적 파인튜닝등의 부작용도 있지만 어쨌든 AI는 이를 극복하며 우리가 나아가야할 방향입니다.

ChatGPT 3.5가 텍스트 위주의 결과물을 내놓는 반면

StableDiffusion이나 어도비 포토샵의 생성형 채우기는 이미지를 기반으로 결과물을 내놓습니다.

텍스트, 이미지, 영상, 음성, 음악 등 이제 AI는 실생활에서 더욱더 깊이 파고들 것입니다.

이러한 시대 흐름을 타기 위해서는 생성형 AI에 대한 전반적인 개념을 익혀야 합니다.

'만들면서 배우는 생성AI'는 다양한 생성 모델에 대한 전반적인 설명 및 실제 활용 예제를 다루고 있습니다.

이미지, 텍스트, 음악작곡 등의 가장 많이 사용되는 데이터를 다루는 여러 모델에 대해 설명을 합니다.

ChatGPT로 촉발된 생성형 AI에 대해 전반적으로 다룬 훌륭한 책입니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

들어가며

생성 AI는 최근 AI 필드에서 가장 뜨거운 감자가 아닐까 생각합니다. 오픈AI가 2018년 6월 발표한 GPT는 발전의 발전을 거듭하였고, 최근에는 GPT-4까지 출시되었습니다. GPT-4는 현재 유료 구독 서비스 체제로 운영하면서 본격적으로 AI의 상업화를 알렸습니다. 자연어처리 뿐만 아니라 이미지를 생성할 수 있는 오픈AI의 DALL﹒E 2, 구글 브레인의 Imagen, Stability AI의 Stable diffusion와 같은 모델들이 출시되었다. 이러한 생성 모델들은 대중들의 예상을 뛰어넘는 성능을 보여주며 관심을 받고 있습니다.

특히나 생성 AI가 주목을 받으면서 실제로 AI가 인간을 대체할 수 있는가에 대한 논의도 대두되고 있습니다. AI가 이전까지는 소수의 엔지니어들의 전유물이었다고 생각할 수 있지만, 계속해서 우리의 생활에 밀접해지고 있기 때문에 우리들도 이를 공부할 필요가 있습니다. 앞으로 점점 AI 기술들이 상용화된다면 기술의 자세한 부분까지는 모르더라도 어떤 모델이 어떤 역할을 하는지, 그 기술을 어떻게 활용할 수 있을지를 고민해야 한다는 것입니다.

책에 관하여

이 책에서는 우리의 삶에 한 발짝 가까워진 생성 AI에 대해서 소개합니다.  생성 AI를 공부하기 전, 기본적인 AI 및 딥러닝에 대한 지식이 필요로 됩니다.

하지만 걱정하지 마세요! 이 책에서는 Part 1을 통해 '생성 모델이 무엇인지', '생성 모델이 기존의 AI 기술과 어떻게 다른지', '생성 모델을 공부하기 위해 필요한 수학적 개념에는 어떤 것들이 있는지'부터 딥러닝을 이해하기 위한 개념들을 정리하고 있습니다. Data type, Multi-Layer Perceptron (MLP), Model, Loss function, Optimizer, Training, Evaluation, CNN, Normalization 등 중요한 deep learning 개념들을 소개하고 있기 때문에 Part 1을 잘 숙지한다면 생성 AI를 이해하기 위한 준비는 충분히 될 것입니다.

Part 2에서는 본격적으로 생성 모델링에 대해 설명합니다. 이 책에서는 총 6가지 생성 모델 - 변이형 오토인코더 (Variational AutoEncoder; VAE), 생성적 적대 신경망 (Generative Adversarial Network; GAN), 자기회귀 모델 (Autogressive model), 노멀라이징 플로 모델 (Normalizing flow model), 에너지 기반 모델(Energy-based model), 확산 모델 (Diffusion model) - 을 소개하고 있습니다.

각각의 파트는 어떤 아이디어에서부터 뻗어나와 모델이 디자인되었는지부터, 모델의 알고리즘을 표현한 수식, 모델의 한계점과 이를 극복하기 위한 모델들은 어떤 것들이 있는지까지 상세하게 설명되어 있습니다. 제 경우에는 딥러닝 지식을 어느정도 보유하고 있는데도, 책에서 심화적인 내용까지 다루고 있어 생성 분야를 예상보다 더 깊이 알아볼 수 있었습니다. 심화적인 내용을 다루기는 하지만 기본적인 모델부터 설명을 시작하여 '이 모델의 한계점이 무엇이고, 이 한계점을 어떤 방식으로 극복한 것이 다음 단계의 모델이다'로 책이 전개되고 있기 때문에 이해를 하는데는 큰 어려움이 없었습니다.

Part 3에서 이러한 모델들이 실제로 어떻게 응용되고 있는지 그 예시와 사용된 기술들, 그 한계점에 대해서 설명합니다. 그리고 생생 AI의 앞으로의 방향성에 대한 부분으로 책이 마무리되면서, 독자들도 이에 대해 다시 생각해볼 수 있도록 합니다. 실제로 생성 AI로 인한 딥페이크, 저작권 등의 문제가 많이 논의되고 있는 것으로 알고 있습니다. 이러한 부분 또한 AI가 우리의 삶에 접목됨에 있어서 굉장히 중요한 부분이 될 것이라고 생각합니다. 생성 AI가 일상생활에 어떻게 새로운 영향을 미칠 수 있을지, 그 과정에서 발생할 수 있는 윤리적 문제는 어떤 것들이 있을지 같이 고민해 보면 좋을 것 같습니다.

마무리하며

제가 앞으로 공부해 나갈 분야는 생성 분야가 아닌 AI의 다른 분야이지만, 이 책을 읽으면서 새로운 시각의 생각을 해볼 수 있어 좋았습니다.

예를 들어, 책에서 GAN의 손실함수에 대해 "생성자는 현재 판별자에 의해서만 평가되고 판별자는 계속 향상되기 때문에 훈련 과정의 다른 지점에서 평가된 손실을 비교할 수 없습니다. 시간이 갈수록 이미지 품질은 확실히 향상되는데도 생성자의 손실 함수는 증가합니다. 생성자의 손실과 이미지 품질 사이의 연관성 부족은 이따금 GAN 훈련 과정을 모니터링하기 어렵게 합니다." 라고 이야기 한 부분은 Loss function에 대한 개념을 다시 한 번 일깨워주는 문장이었습니다. Loss function은 우리가 원하는 만큼 모델이 결과를 잘 내고 있는지를 평가하는 지표가 되어야 하는데, 경쟁적으로 학습을 하는 GAN의 경우 결과를 잘 내더라도 오히려 Loss function의 값은 증가한다는 것은 Loss function의 의미를 퇴색시킨다고 볼 수 있다는 것입니다. 이처럼 책을 통해 생각지 못했던 방향으로 제가 지식을 다시 되짚어 볼 수 있었습니다.

또한 현재 연구하고 있는 분야에서 에너지 함수를 다루는데, Part 2의 Ch.7 에너지 기반 모델에서 생성 AI에서는 이 함수를 어떻게 활용하고 있는지를 살펴볼 수 있어 도움이 되었습니다.

생성 모델이 현재도 활발하게 연구가 되고 있는 분야이니만큼 과거의 연구 분야들과 지식들이 총 집합되어 있어, AI에 관심이 있는 사람이라면 저처럼 이 책으로부터 배경 지식을 얻어갈 수 있을 것이라 생각합니다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다

현시대는 쳇GPT와 스테이블 디퓨전에서 시작된 생성 AI의 열풍이 정말 뜨겁습니다. 생성 AI는 우리 시대의 매우 혁신적인 기술로, 우리가 기계와 상호작용하는 방식을 변화시키고 있습니다. 우리가 생활하고 일하고 노는 방식을 혁신할 수 있는 이 기술의 잠재력은 수많은 대화와 토론, 그리고 많은 추측을 양산했습니다. 이 기술은 인간의 언어, 예술, 창의성을 비추는 거울이 되어 인간이 창조한 것뿐만 아니라 인간이 창조할 수 있는 것을 반영함으로써 새로운 지능의 시대가 시작되고 있음을 상기시킵니다. 생성 AI란 대화, 이야기, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 만들 수 있는 인공 지능의 일종입니다. 모든 인공 지능과 마찬가지로 생성 AI는 기계 학습 모델, 즉 방대한 양의 데이터로 사전 훈련되며 일반적으로 파운데이션 모델(FM)이라고 불리는 대규모 모델을 기반으로 구동되며 콘텐츠 제작 외에 디지털 이미지의 품질을 개선하고, 동영상을 편집하며, 제조용 프로토타입을 빠르게 제작하고, 가상 데이터 세트로 데이터를 보강하는 등의 작업에도 사용되는 기술입니다.

제가 이 책을 선택한 이유는 이 책이 생성 모델링용 딥러닝 도구를 소개하는 책으로써 능숙한 기본 개념과 최신 생성 AI의 중요한 기술을 모두 설명하며 생성 모델링을 알아보고 혁신적인 기술을 직접 활용하는 방법을 완벽하게 알려주기 때문입니다.

이 책의 특성은 모델 이면의 중요한 이론, 높은 가독성과 실용적인 예제 코드, 직관적인 시각 자료 및 설명과 연습 문제를 풍부하게 제공하며 영리한 비유가 담겨있어 복잡한 개념을 명확하고 간결하게 설명하면서도 기술적 세부 사항을 간과하지 않으면서 잠재적인 위험도 함께 설명한다는 점입니다. 이 책은 모든 핵심 개념을 직관적이고 따라 하기 쉬운 방식으로 처음부터 차근차근 설명하고 관련된 주요 논문의 모델을 모두 다뤄 각 기술을 뒷받침하는 이론을 코드로 어떻게 구현하는지 명확하게 설명하며 단계별로 하나씩 코드를 살펴볼 수 있습니다.

구성

PART 1: 생성 딥러닝 소개

Chapter 1: 생성 모델링

Chapter 2: 딥러닝

PART 2: 6가지 생성 모델링 방식

Chapter 3: 변이형 오토인코더

Chapter 4: 생성적 적대 신경망

Chapter 5: 자기회귀 모델

Chapter 6: 노멀라이징 플로 모델

Chapter 7: 에너지 기반 모델

Chapter 8: 확산 모델

PART 3: 생성 모델링의 응용 분야

Chapter 9: 트랜스포머

Chapter 10: 고급 GAN

Chapter 11: 음악 생성

Chapter 12: 월드 모델

Chapter 13: 멀티모달 모델

Chapter 14: 결론

​

파트별로 나누어 봤을때 책에서 나온 대로 1부에서는 생성 모델링과 딥러닝에 대한 일반적인 소개로 후반부에 나오는 모든 기법의 기반이 되는 핵심 개념을 살펴보는 것으로 1~2장은 생성 모델링을 정의하고 간단한 예제를 활용해 모든 생성 모델에서 중요한 몇가지 핵심 개념과 2부에서 살펴볼 생성 모델의 분류 체계와 케라스를 사용해 다층 퍼셉트론(MLP) 예제를 만들면서 딥러닝과 신경망 탐구를 시작해서 합성곱 층과 다른 개선사항을 적용하여 성능의 차이를 비교하는 방법에 대해, 2부는 생성 모델를 구축하는데 사용할 여섯가지 핵심 기법을 실제 예제와 함께 살펴보는 것으로 3~8장은 변이형 오토인코더(VAE)를 살펴보고 이를 사용하여 얼굴 이미지를 생성 후 모델의 잠재 공간에서 두 얼굴 사이를 전환하는 방법, 이미지 생성을 위한 생성적 적대 신경망(GAN)을 살펴보고 심층 합성곱GAN, 조건부 GAN, 그리고 훈련 과정을 더욱 안정적으로 만들어 주는 와서스테인GAN과 같은 개선사항, 텍스트 생성을 위한 LSTM과 같은 순환 신경망과 이미지 생성을 위한 PixelCNN 같은 자기회귀 모델, 노멀라이징 플로 기법의 이론과 이미지 생성을 위한 RealNVP모델, 에너지 기반 모델을 다루며 대조 발산을 사용해 훈련하는 방법과 랑주뱅 역학을 사용하여 샘플링하는 방법, E2 및 스테이블 디퓨전과 같은 많은 최신 이미지 생성 모델을 탄생시킨 확산 모델을 구축하는데 필요한 실용적인 가이드에 대해, 3부는 지금까지의 기술을 기반으로 이미지 생성, 글쓰기, 음악 작곡, 모델 기반 강화 학습을 위한 최신 모델의 작동 방식을 설명하는 것으로 9~14장은 트랜스포머 구조를 알아보고 텍스트 생성을 위한 GPT 모델을 만드는 실용적인 방법, VQ-GAN과 같은 이미지 생성을 위한 최신 GAN, 트랜스포머 및 MuseGAN과 같은 기법을 적용하는 음악 생성, 월드 모델과 트랜스포머 기반 방법을 적용하여 생성 모델을 강화 학습에 사용하는 방법, 텍스트 투 이미지 생성을 위한 E2, Imagen, 스테이블 디퓨전과 시각 전용 모델인 플라밍고 등 두 가지 이상의 데이터 유형을 통합하는 4가지 최신 멀티모달 모델의 내부 작동 방식, 향후 생성 AI가 우리의 일상을 어떻게 혁신할지에 대해 설명하고 있습니다.

​

개인적인 생각으로 학습은 머신러닝 엔지니어 및 연구자, AI 개발자, 애플리케이션 개발자, DevOps 엔지니어로 취업 및 이직을 희망하시는 분들께서는 우선 파이썬 프로그래밍과 선형 대수학, 일반 확률 이론, 텐서플로와 케라스, 핸즈온에 대해 학습하신 다음에 1장부터 시작하시면 좋을 것 같고 어느정도 경험이 있으신 분들(머신러닝 엔지니어 및 연구자 2년차~ 또는 개발자 2년차~)부터는 2장까지는 쭉 훓으시면서 생성 모델링과 텐서플로, 케라스를 생성 AI에 접목시키는 방법에 대해 파악한다는 방식으로 보시고 3장부터 학습하시는 것이 좋을것 같습니다.​

개인적으로 약간의 단점이 어쩌면 욕심일수도 있는게 좀더 많은 실습 예제 및 비즈니스 케이스가 담겨있으면 더 좋았지 않았을까라는 아쉬움이 있습니다.

​

저의 리뷰를 읽어주셔서 감사합니다. 다음에는 좀더 유용하고 좋은 책으로 더 나은 리뷰를 통해 여러분께 책을 소개시켜드릴 수 있도록 더 노력하겠습니다.

​

감사합니다.​​

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다. 

저자 데이비드 포스터는 생성 AI를 명쾌하게 설명하는 작가로, 이 책은 많은 독자들의 사랑을 받았던 [미술관에 GAN 딥러닝 실전 프로젝트]의 후속판입니다.

• 
  

  
  초판 『미술관에 GAN 딥러닝 실전 프로젝트』는 GAN에 대한 설명에 집중했으나, AI 분야의 기술 발전을 반영해 2판을 업데이트되었습니다.
  

  
  


• 
  

  
  업데이트된 내용에는 최신 기술 정보 수정, 트랜스포머의 상세 설명, 그리고 멀티모달 모델의 추가되었습니다.
  

  
  


• 
  

  
  이 책은 단순히 GAN에 국한되지 않고, 생성 AI의 전체적인 내용을 다루기 때문에 이름도 『만들면서 배우는 생성 AI』로 변경되었습니다.
  

  
  


• 
  

  
  책은 이론적인 내용뿐만 아니라 흥미로운 이야기, 실용적인 예시, 활용 방법까지 다루며, 독자를 생성 AI의 전문가로 성장하도록 돕습니다.
  

  
  


• 
  

  
  생성 AI에 대한 경험이 없는 독자라도 쉽게 따라할 수 있게 구성되어 있으며, 파이썬 코딩 경험이 있다면 좀더 수월하게 배울수 있습니다.
  

  
  


• 
  

  
  책을 통해 생성 모델의 기본 원리를 이해하고, 파이썬과 케라스를 활용하여 생성 AI에 대해 학습할 수 있다.
  

  
  

아래와 같은 팁과 트릭을 통해 모델이 더 효율적으로 학습하고 더 창의적이게 만드는 방법을 이해하게 됩니다.

• 
  

  
  VAE분석을 통한 사진의 얼굴 표정을 바꿀 수 있는 방법
  

  
  


• 
  

  
  당신의 데이터셋을 기반으로 이미지를 생성하는 GAN훈련
  

  
  


• 
  

  
  새로운 종류의 꽃을 생성하는 확산 모델 만들기
  

  
  


• 
  

  
  텍스트 생성을 위한 나만의 GPT 훈련시키기
  

  
  


• 
  

  
  ChatGPT와 같은 대규모 언어 모델이 어떻게 훈련되는지 알아보기
  

  
  


• 
  

  
  StyleGAN2와 ViT-VQGAN과 같은 최첨단 아키텍처를 탐구하기
  

  
  


• 
  

  
  트랜스포머와 MuseGAN을 사용하여 다중음악을 작곡하는 방법 이해
  

  
  


• 
  

  
  생성적인 세계 모델이 강화 학습 작업을 어떻게 해결하는지 알아보기
  

  
  


• 
  

  
  DALL.E 2, Imagen, Stable Diffusion과 같은 다중 모달 모델 이해하기
  

  
  

[도서 소개]

『미술관에 GAN 딥러닝 실전 프로젝트』 두 번째 이야기

세상을 변화시킨 생성 AI의 과거와 현재, 미래까지

명쾌하고 설득력 있게 생성 AI를 설명하는 데이비드 포스터가 돌아왔습니다. 이 책의 초판인 『미술관에 GAN 딥러닝 실전 프로젝트』는 GAN을 집중적으로 설명했지만, 초판 출간 이후 생성 AI 분야가 크게 발전했습니다. 세상을 놀라게 한 생성 AI의 눈부신 발전을 담아내기 위해 2판을 새롭게 업데이트했습니다. 기존 내용을 최신 기술 정보로 수정하고, 트랜스포머 설명을 더 상세하게 보완하고, 멀티모달 모델 내용을 새롭게 추가했습니다. 업그레이드된 2판은 GAN에만 국한된 내용을 소개하지 않기에 『만들면서 배우는 생성 AI』라는 새로운 이름으로 찾아왔습니다.

본격적인 설명에 앞서 흥미를 자극하는 이야기와 실용적인 예시, 활용법까지 최신 기술로 무장한 이 책은 여러분을 생성 AI의 전문가로 업그레이드해줄 것입니다. 컴퓨터로 창작하는 가장 진보한 기술을 활용하는 법을 터득해보세요. 생성 AI를 접한 경험이 없더라도 괜찮습니다. 처음부터 따라 하며 차근차근 기술을 습득할 수 있게 친절히 안내합니다. 여러분에게 필요한 건 파이썬 코딩 경험, 그뿐입니다. 생성 모델의 기본 원리부터 파악한 후 파이썬과 케라스로 직접 코딩하며 생성 AI를 배워보세요.

2판에서 달라진 점

-1장은 다양한 생성 모델을 소개하고 이들의 연관성을 나타내는 분류 체계를 담았습니다.

-2장은 그림을 개선했으며 주요 개념을 더 자세하게 설명합니다.

-3장은 새로운 예제와 설명을 담았습니다.

-4장은 조건부 GAN 구조를 설명합니다.

-5장은 이미지를 위한 자기회귀 모델(예: PixelCNN)을 설명합니다.

-6장은 완전히 새로운 장으로, RealNVP 모델을 설명합니다.

-7장 역시 새로운 장이며, 랑주뱅 역학 및 대조 발산과 같은 기법에 초점을 맞춥니다.

-8장은 오늘날 많은 최신 애플리케이션의 기반이 되는 잡음 제거 확산 모델을 위해 새로 작성한 장입니다.

-9장은 초판의 마지막 장 내용을 확장한 것으로, 다양한 StyleGAN 모델 구조와 VQ-GAN에 관한 새로운 내용을 심층적으로 다룹니다.

-10장은 트랜스포머 아키텍처를 자세히 살펴보는 새로운 장입니다.

-11장은 초판의 LSTM 모델을 대신하여 최신 트랜스포머 아키텍처를 다룹니다.

-12장은 그림과 설명을 업데이트했으며 이 접근 방식이 오늘날의 최신 강화 학습에 어떻게 영향을 미치는지 소개합니다.

-13장은 새로운 장으로 DALL·E 2, Imagen, 스테이블 디퓨전, 플라밍고와 같은 인상적인 모델이 어떻게 작동하는지 자세히 설명합니다.

-14장은 초판 이후 생성 AI의 놀라운 발전 현황을 반영하고 앞으로 나아갈 방향에 관한 더욱 완벽하고 상세한 시각을 제공합니다.

[대상 독자]

-생성형 AI의 작동 방식을 이해하고, 직접 사용해보고 싶은 학부생 및 개발자

-최신 딥러닝 기술에 관심 있는 머신러닝 엔지니어, 데이터 과학자 및 연구원

[주요 내용]

-VAE로 사진 속 얼굴 표정 바꾸기

-자체 데이터셋을 학습한 GAN으로 이미지 생성하기

-확산 모델로 새로운 꽃 종류 만들기

-텍스트 생성을 위한 자체 GPT 훈련하기

-대규모 언어 모델인 챗GPT 훈련 방법 알아보기

-StyleGAN2, ViT VQ-GAN과 같은 최신 아키텍처 조사하기

-트랜스포머와 MuseGAN을 사용해 다성 음악 작곡하기

-월드 모델이 강화 학습 과제를 해결하는 방법 이해하기

-DALL·E 2, Imagen, 스테이블 디퓨전과 같은 멀티모달 모델 알아보기 

[서평]

제너레이티브 인공지능(GAN)은 David Foster의 책 1판 이후로 패러다임 변화를 겪었고, 최신 기술과 발전 상황을 제공하는 업데이트된 2판인 "Generative AI that learns by making it"은 이 분야의 복잡성을 깊이 있게 파헤치는 종합적인 가이드입니다. 이 판에서 포스터는 생성 AI의 복잡성을 능숙하게 이끌어내며 독자들에게 최신 기법과 진보를 갖추게 합니다.

콘텐과 구조: 책은 잘 구성되어 있으며, 초보자부터 숙련된 머신러닝 전문가까지 다양한 독자를 고려하고 있습니다. 서론 장들은 다양한 생성 모델과 그들의 관계를 명확히 설명하며 견고한 기초를 제공합니다. 분류 체계의 포함은 명료성을 높여, 이 분야가 처음인 사람들에게도 접근성을 제공합니다. 후속 장들은 조건부 GAN 구조, 자기회귀 모델, RealNVP, 랑주뱅 역학, 대조 발산 등 본격적인 주제를 더 깊게 다룹니다.

기술적 깊이와 명료성: 작가의 기술적 깊이와 명료성 사이에 잘 균형을 맞추며, 독자들이 복잡한 개념을 잘 이해하도록 쉽게 설명합니다. 특히, 세부 설명 전에 흥미로운 이야기, 실용적인 예시, 쉬운 사용 방법을 통합하는 책의 접근 방식은 매우 효과적입니다. 이 방식은 원활한 학습 경험을 제공하며, 기본 원칙에서 고급 기술로 자신감 있게 진행할 수 있게 합니다.

업데이트와 추가 내용: 2판은 특히 큰 업데이트와 최신 기술 추가로 인해 두드러집니다. 생성 AI의 핵심 요소인 트랜스포머 설명의 상세화는 값진 개선 사항입니다. 잡음 제거 확산 모델 탐색과 트랜스포머 아키텍처에 대한 자세한 살펴보기 등 새로운 장의 소개는 저자가 빠르게 변화하는 이 분야에 대해 최신 상태를 유지하려는 의지를 보여줍니다. 또한, DALL·E 2와 Imagen과 같은 멀티모달 모델의 다룸은 최신 생성 AI의 발전을 반영하는 미래 지향적인 시각을 추가합니다.

대상 독자: 책은 학부생, 개발자, 머신러닝 엔지니어, 데이터 과학자, 연구원 등 다양한 독자에게 적합합니다. 기본적인 파이썬 코딩 능력을 요구하면서도 생성 AI 경험은 가정하지 않음으로써 포스터는 포괄성을 보장하며, 책을 더 넓은 독자에게 접근 가능하게 만듭니다.

주목할 만한 주제: 이 책은 실용적인 응용에 중점을 둬 독자들이 제너레이티브 인공지능의 실제적인 활용 가능성을 파악할 수 있도록 돕습니다. 사진에서 표정을 바꾸는 미술적인 작업부터 트랜스포머를 사용하여 다중 음향을 작곡하는 등 다양한 현실 세계 응용 사례를 제시합니다. 더불어, 제너레이티브 모델이 현대 강화 학습에 어떻게 영향을 미치는지, 특히 World Model의 맥락에서 설명한 부분은 제너레이티브 인공지능과 다른 분야의 교차점에 대한 통찰을 제공합니다.

결론: David Foster의 "Generative AI that learns by making it" (2판)은 제너레이티브 인공지능을 이해하고 숙달하고자 하는 모든 이에게 권할 만한 도서입니다. 이 책은 포괄적인 내용, 매력적인 스타일, 그리고 포용성 있는 접근 방식으로 빛납니다. 제너레이티브 인공지능의 매혹적인 세계를 철저하고 접근 가능한 탐험을 제공하며, 기초를 탄탄하게 다지려는 초보자든, 최신 기술을 찾는 숙련자든 이 책은 필수적인 안내서 역할을 합니다.

 "한빛미디어 리뷰어 활동을 위해서 책을 제공받아 작성된 서평입니다."

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

'빠르게 발전하고 있는 생성형 AI에 대해 이론 뿐만이 아닌  다양한 예제까지 다루고 있어 AI 시험 인증 준비에도 많은 도움이 되었습니다.

특히 소개되고 있는 에너지 기반 모델은 데이터 가공에 파라미터 조정을 근사 기법을 사용하여 까다로운 분모 문제를 해결해 기존 신경망 모델 자료보다 좋은 시각을 얻게 되었습니다.

완전 기본서는 아니고 파이썬과 머신러닝을 조금 알아야 수월하게 읽을 수 있는 책이다. 두께도 있고 논문을 다루는 챕터도 있기 때문에 꽤나 많은 것들을 알아갈 수 있다. 완독을 한다면 아마 생성 모델에 대해서 꽤나 안다고 할 수 있지 않을까 싶기도 하다. 세상은 넓고 배울 건 많다...

​

직접 실습 코드를 만지면서 이리저리 바꿔보는 재미도 생성 모델만의 재미인 듯 하다.

​

다양한 시각 자료도 좋고, 내용도 딱딱한 느낌은 아니라 읽는 재미는 있다. 하지만 내용이 결코 쉽진 않다. 수식을 보고 있자니 수학도 좀 알아야 할 것 같고 ...ㅠㅠ

​

코세라 머신러닝 강의를 수강했었는데, 수강을 했음에도 모델이 어떻게 구성되어있는지 글로 알 수는 있어도 그걸 온전히 이해하고 어떻게 응용하는 것을 아는 것은 또 다른 차원임을 느낀다...

텐서플로를 활용하여 이미지 분야를 중심으로 생성AI 에 필요한 개념들을 이해하고 실습하는 책 입니다.  가장 큰 장점은 각 장의 앞부분에 "개념목표" 와 "짧은 이야기" 를 통해서 어려운 개념들을 쉽게 다가갈 수 있도록 잘 구성된 책 입니다.

음악생성 및 GPT 등은 살짝 맛보기 정도만 다루고 있고, 이미지 분야를 중심으로 실습하는 책 입니다.