[파이썬으로 웹 크롤러 만들기] 크롤링 시작하기(3/3)
3.3 인터넷 크롤링 필자가 웹 스크레이핑에 대해 이야기할 때마다 누군가는 항상 이렇게 묻습니다. “구글 같은 기업은 어떻게 만들어지나요?” 필자의 대답은 항상 같습니다. “첫째, 수십억 달러를 모아 세계에서 가장 훌륭한 데이터센터를 만들고 세계 곳곳에 배치합니다. 두
한선용2017.01.11
한빛이 엄선한 채널.H 시리즈를 만나보세요

초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법.
9개
총 9개
3.3 인터넷 크롤링 필자가 웹 스크레이핑에 대해 이야기할 때마다 누군가는 항상 이렇게 묻습니다. “구글 같은 기업은 어떻게 만들어지나요?” 필자의 대답은 항상 같습니다. “첫째, 수십억 달러를 모아 세계에서 가장 훌륭한 데이터센터를 만들고 세계 곳곳에 배치합니다. 두
한선용2017.01.11
2.2.3 트리 이동 findAll 함수는 이름과 속성에 따라 태그를 찾습니다. 하지만 문서 안에서의 위치를 기준으로 태그를 찾을 때는 어떻게 해야 할까요? 이럴 때 트리 내비게이션이 필요합니다. 1장에서는 BeautifulSoup 트리를 단방향으로 이동하는 방법을 봤
한선용2017.01.06
2.2.1 find()와 findAll() find()와 findAll()은 BeautifulSoup에서 가장 자주 쓰는 함수입니다. 이 함수를 쓰면 HTML 페이지에서 원하는 태그를 다양한 속성에 따라 쉽게 필터링할 수 있습니다. 두 함수는 거의 비슷한데, Beaut
한선용2017.01.06
2.2.2 기타 BeautifulSoup 객체 이 책에서는 지금까지 BeautifulSoup 라이브러리의 두 가지 객체를 설명했습니다. | BeautifulSoup 객체 | 이전 코드 예제에서는 bsObj와 같은 형태로 사용했습니다. | Tag 객체 | 리스트 호출 또
한선용2017.01.06
3.2 전체 사이트 크롤링 이전 섹션에서는 링크에서 링크로 움직이며 웹사이트를 무작위로 이동했습니다. 하지만 사이트의 모든 페이지를 어떤 시스템에 따라 분류하거나 검색해야 한다면 이런 방식은 적합하지 않습니다. 사이트 전체 크롤링, 특히 거대한 사이트의 크롤링은 메모리
한선용2017.01.06
미켈란젤로는 다비드상 같은 걸작을 어떻게 만들었는지 질문을 받았을 때 이런 명언을 남겼습니다. “쉽습니다. 돌에서 다비드처럼 보이지 않는 부분을 깎아내기만 하면 됩니다.” 웹 스크레이핑이 조각과 비슷한 부분은 별로 없지만, 복잡한 웹 페이지에서 필요한 정보를 얻어낸다는
한선용2017.01.06
여태까지 이 책에서 사용한 예제는 정적 페이지 하나만 분석하는 예제였고, 다소 인위적으로 만든 예제였습니다. 이 장에서는 여러 페이지, 여러 사이트를 이동하는 스크레이퍼를 통해 실제 문제를 살펴보겠습니다. 웹 크롤러라는 이름은 웹을 크롤링하기 때문에 붙은 이름입니다.
한선용2017.01.03
1.2.3 신뢰할 수 있는 연결 웹은 엉망진창입니다. 데이터 형식은 제대로 지켜지지 않고 웹사이트는 자주 다운되며 닫는 태그도 종종 빠져 있습니다. 웹 스크레이핑에서 가장 좌절스러운 경험은 스크레이퍼를 실행해놓고 모든 데이터가 데이터베이스에 저장되어 있길 꿈꾸며 잠들었
한선용2016.12.09
1.2 BeautifulSoup 소개 아름다운 수프, 풍부한 녹색, 그릇에서 기다리거라! 누가 이 맛있는 것에 숙이지 않으리? 저녁 수프, 아름다운 수프! BeautifulSoup 라이브러리는 루이스 캐럴의 『이상한 나라의 앨리스』에 나오는 동명의 시에서 이름을 따왔습
한선용2016.12.09