교수전용
강의
책
채널.H
자료실

고객센터 회사소개 서비스 소개 이용약관 개인정보처리방침 기업교육

한빛앤(주)

대표이사 임백준

주소 : 서울 서대문구 연희로2길 62

이메일 : support@hanbit.co.kr

전화 : 02-325-5544

팩스 : 02-325-9697

사업자등록번호 :353-87-02918

통신판매번호 :2024-서울서대문-0847

평생교육시설 신고 번호 :제2023-24호

©2026 HanbitN Inc

채널.H 시리즈

한빛이 엄선한 채널.H 시리즈를 만나보세요

채널.H 파이썬으로 웹 크롤러 만들기 - 한빛+

파이썬으로 웹 크롤러 만들기

초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법. 웹에 존재한다면 그것이 어떤 형태이든 데이터로 추출할 수 있다. 필요한 무기는 이 책과 파이썬뿐. BeautifulSoup, 셀레니움, 테서랙트 등 강력한 파이썬 라이브러리 사용법과 함께 API, 인증, 이미지 및 텍스트 인식, 로그인 처리 등 웹 크롤링의 기초부터 고급 기법까지 종합적으로 다루는 유일한 책. 실제 업무와 생활에 적용할 수 있는 예제를 통해 일상의 데이터 분석가가 될 수 있다.

9개

총 9개

1개발4분 읽기
[파이썬으로 웹 크롤러 만들기] 첫 번째 웹 스크레이퍼(1/2)
1.2 BeautifulSoup 소개 아름다운 수프, 풍부한 녹색, 그릇에서 기다리거라! 누가 이 맛있는 것에 숙이지 않으리? 저녁 수프, 아름다운 수프! BeautifulSoup 라이브러리는 루이스 캐럴의 『이상한 나라의 앨리스』에 나오는 동명의 시에서 이름을 따왔습니다. 이야기 속에서는 ‘모조 거북’이 이 노래를 부릅니다. 이상한 나라에서 왔으니, BeautifulSoup도 이상한 것들을 이해할 수 있습니다. Beautiful Soup는 잘못된 HTML을 수정하여 쉽게 탐색할 수 있는 XML 형식의 파이썬 객체로 변환하므로 골치 아픈 웹을 탐색할 때 유용합니다. 1.2.1 BeautifulSoup 설치 BeautifulSoup 라이브러리는 기본 파이썬 라이브러리가 아니므로 반드시 설치해야 합니다. 이 책에서는 BeautifulSoup4 라이브러리 (BS4라고도 합니다)를 사용할 겁니다. BeautifulSoup 4의 완전한 설치 방법은 Crummy.com 에서 찾을 수 있습니다. 기본적으로 리눅스에서는 다음과 같이 하면 됩니다. (역자주_ 파이썬 2.x와 3.x가 모두 설치되어 있다면 python-bs4 대신 python3-bs4를 설치해야 합니다.) $ sudo apt-get install python-bs4 맥에서는 다음과 같이 합니다. $ sudo easy_install pip 위 명령어는 파이썬 패키지 관리자 를 설치합니다. 그다음 다음 명령을 실행해서 라이브러리를 설치합니다. $ pip install beautifulsoup4 다시 말하지만, 컴퓨터에 파이썬 2.x와 3.x가 모두 설치되어 있다면 python3 을 명시적으로 호출해야 합니다. $ python3 myScript.py 패키지를 설치할 때도 명시적으로 파이썬 3임을 표시해야 하며, 그렇지 않으면 패키지가 파이썬 2.x용으로 설치될 수 있습니다. $ sudo python3 setup.py install pip를 사용한다면 pip3 을 호출해서 패키지를 파이썬 3.x 버전으로 설치할 수 있습니다. $ pip3 install beautifulsoup4 윈도우에서 패키지를 설치하는 것도 맥이나 리눅스와 거의 같습니다. 위 URL에서 최신BeautifulSoup 4를 내려받고 그 디렉터리로 이동해서 다음 명령을 실행합니다. > python setup.py install 이렇게만 하면 BeautifulSoup가 파이썬 라이브러리로 인식됩니다. 파이썬 터미널을 열고 임포트해서 테스트해볼 수 있습니다. $ python > from bs4 import BeautifulSoup 이렇게 임포트할 때 에러가 없어야 합니다. 또한 윈도우용 pip( https://pypi.python.org/pypi/setuptools )는 .exe 실행 파일도 있으므로 패키지를 쉽게 설치하고 관리할 수 있습니다. (역자주_ 파이썬 3.4부터는 기본 설치 시 pip도 함께 설치되므로 pip를 별도로 받을 필요는 없습니다.) > pip install beautifulsoup4 파이썬 프로젝트 여럿을 관리하거나, 프로젝트를 배포할 때 연결된 라이브러리를 모두 묶을 쉬운 방법이 필요하거나, 설치된 라이브러리들이 충돌할까 봐 걱정이라면 파이썬 가상 환경을 설치해서 관리하기 쉽게 분리할 수 있습니다. 가상 환경 없이 설치한 파이썬 라이브러리는 전역으로 설치됩니다. 라이브러리를 전역으로 설치하려면 보통 관리자 권한이 필요하며, 이렇게 설치한 파이썬 라이브러리는 모든 사용자와 모든 프로젝트에서 사용할 수 있습니다. 다행히도 가상 환경은 쉽게 설치할 수 있습니다 .(역자주_ virtualenv가 설치되어 있지 않다면 pip install virtualenv 로 먼저 설치합니다.) $ virtualenv scrapingEnv 이 명령은 새 환경 scrapingEnv 을 만듭니다. 만든 새 환경을 사용하려면 반드시 활성화해야합니다. (역자주_ 윈도우에서는 bin 폴더 대신 Scripts 폴더를 사용합니다.) $ cd scrapingEnv/ $ source bin/activate 환경을 활성화하면 환경의 이름이 명령 프롬프트에 표시되어 현재 가상 환경에 있음을 알립니다. 가상 환경에서 라이브러리를 설치하거나 스크립트를 실행하면 그 환경에만 영향이 있습니다. 물론 새로 설치한 scrapingEnv 환경에도 BeautifulSoup를 설치하고 사용할 수 있습니다. (scrapingEnv)...$ pip install beautifulsoup4 (scrapingEnv)...$ python > from bs4 import BeautifulSoup > deactivate 명령어로 환경에서 떠날 수 있습니다. 일단 환경에서 떠나면 그 가상 환경에 설치한 라이브러리에 더는 접근할 수 없습니다. (scrapingEnv)...$ deactivate $ python > from bs4 import BeautifulSoup Traceback (most recent call last): File " ", line 1, in ImportError: No module named 'bs4' 라이브러리를 프로젝트 단위로 구분하면 나중에 환경 폴더 전체를 압축해서 다른 사람에게 보내기도 쉽습니다. 프로젝트를 받은 사람의 컴퓨터에 같은 파이썬 버전이 설치되어 있기만 하면 그 사람이 라이브러리를 따로 설치하지 않아도 당신이 만든 코드가 해당 가상 환경에서 그대로 동작합니다. 이 책의 예제에서 가상 환경을 쓰라고 명시적으로 언급하지는 않겠지만, 가상 환경은 언제든 활성화하기만 하면 사용할 수 있음을 기억하십시오. 1.2.2 BeautifulSoup 실행 BeautifulSoup 라이브러리에서 가장 널리 쓰이는 객체는 물론 BeautifulSoup 객체입니다. 이 장 초반에서 만든 예제를 수정해 BeautifulSoup 객체를 사용해봅시다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page1.html") bsObj = BeautifulSoup(html.read(), "html.parser") print(bsObj.h1) 출력 결과는 다음과 같습니다. An Interesting Title 이전 예제와 마찬가지로 urlopen 라이브러리를 임포트하고 html.read() 를 호출해서 페이지의 HTML 콘텐츠를 얻었습니다. 이 HTML 콘텐츠를 변형한 BeautifulSoup 객체의 구조는 다음과 같습니다. • html → ... ... — head → A Useful Page — title → A Useful Page — body → An Int... Lorem ip... — h1 → An Interesting Title — div → Lorem Ipsum dolor... 페이지에서 추출한 태그는 BeautifulSoup 객체 구조( html → body → h1 )에서 두 단계 만큼 중첩되어 있습니다. 하지만 우리가 객체에서 가져올 때는 h1 태그를 직접 가져옵니다. bsObj.h1 사실 다음 중 무엇을 사용해도 결과는 같습니다. bsObj.html.body.h1 bsObj.body.h1 bsObj.html.h1 이걸 보고 BeautifulSoup 라이브러리가 얼마나 강력하고 단순한지 느낄 수 있길 바랍니다. 원하는 정보를 둘러싼, 혹은 그 주변에 태그가 있기만 하면 HTML(XML) 파일에서 어떤 정보든 추출할 수 있습니다. 3장에서는 더 복잡한 BeautifulSoup 함수 호출 방법과 BeautifulSoup 객체와 정규 표현식을 함께 써서 웹사이트에서 정보를 추출하는 법을 알아보겠습니다. 파이썬으로 웹 크롤러 만들기 초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법
한선용
2개발3분 읽기
[파이썬으로 웹 크롤러 만들기] 첫 번째 웹 스크레이퍼(2/2)
1.2.3 신뢰할 수 있는 연결 웹은 엉망진창입니다. 데이터 형식은 제대로 지켜지지 않고 웹사이트는 자주 다운되며 닫는 태그도 종종 빠져 있습니다. 웹 스크레이핑에서 가장 좌절스러운 경험은 스크레이퍼를 실행해놓고 모든 데이터가 데이터베이스에 저장되어 있길 꿈꾸며 잠들었는데, 다음 날 일어나보니 자리를 뜨자마자 스크레이퍼가 예기치 못한 데이터 형식에 부딪혀 에러를 일으키곤 멈춰 있을 때입니다. 이런 상황이라면 그 웹사이트(그리고 엉망인 데이터)를 만든 개발자를 저주하고 싶겠지만, 사실 그 상황을 예상하지 못한 당신 자신을 탓해야 합니다. 스크레이퍼의 임포트 문 다음 행을 살펴보고 예외를 어떻게 처리할지 생각해봅시다. html = urlopen("http://www.pythonscraping.com/pages/page1.html") 이 행에서 문제가 생길 수 있는 부분은 크게 두 가지입니다. • 페이지를 찾을 수 없거나, URL 해석에서 에러가 생긴 경우 • 서버를 찾을 수 없는 경우 첫 번째 상황에서는 HTTP 에러가 반환될 것입니다. 이 HTTP 에러는 “404 Page NotFound”, “500 Internal Server Error” 등입니다. 이런 모든 경우에 urlopen 함수는 범용 예외인 HTTPError를 일으킵니다. 이 예외는 다음과 같이 처리합니다. from urllib.request import urlopen from urllib.request import HTTPError from bs4 import BeautifulSoup try: html = urlopen("http://www.pythonscraping.com/pages/error.html") except HTTPError as e: print(e) # null을 반환하거나, break 문을 실행하거나, 기타 다른 방법을 사용 else: # 프로그램을 계속 실행합니다. except 절에서 return이나 break를 사용했다면 # 이 else 절은 필요 없습니다. 이제 HTTP 에러 코드가 반환되면 프로그램은 에러를 출력하고 else 문은 실행하지 않습니다. 물론 페이지를 서버에서 성공적으로 가져왔어도 페이지 콘텐츠가 예상과 전혀 다를 수 있습니다. BeautifulSoup 객체에 들어 있는 태그에 접근할 때마다 그 태그가 실제 존재하는지 체크하는 편이 좋습니다. 존재하지 않는 태그에 접근을 시도하면 BeautifulSoup는 None 객체를 반환합니다. 문제는 None 객체 자체에 태그가 있다고 가정하고 그 태그에 접근하려 하면 AttributeError 가 일어난다는 겁니다. 다음 코드에서 nonExistentTag 는 존재한다고 가정하는 태그이며 실제 BeautifulSoup 함수 이름은 아닙니다. print(bsObj.nonExistentTag) 위 코드는 None 객체를 반환합니다. None 객체는 처리하거나 체크할 때 아무 문제도 없습니다. 문제는 다음 예제처럼 None 이 반환될 수 있음을 무시하고 None 객체에 어떤 함수를 호출하는 경우입니다. print(bsObj.nonExistentTag.someTag) 위 코드는 다음과 같이 예외를 일으킵니다. AttributeError: 'NoneType' object has no attribute 'someTag' 그럼 이런 두 가지 상황에 어떻게 대응해야 할까요? 가장 쉬운 방법은 두 상황을 명시적으로 체크하는 겁니다. try: badContent = bsObj.nonExistingTag.anotherTag except AttributeError as e: print("Tag was not found") else: if badContent == None: print ("Tag was not found") else: print(badContent) 이렇게 가능한 에러를 모두 체크하고 처리하는 게 처음에는 지겨워 보일 수 있지만, 코드를 조금만 수정하면 좀 더 쉽게 읽을 수 있게 만들 수 있습니다. 예를 들어 다음 코드는 같은 스크레이퍼를 조금 다르게 쓴 겁니다. from urllib.request import urlopen from urllib.error import HTTPError from bs4 import BeautifulSoup def getTitle(url): try: html = urlopen(url) except HTTPError as e: return None try: bsObj = BeautifulSoup(html.read(), "html.parser") title = bsObj.body.h1 except AttributeError as e: return None return title title = getTitle("http://www.pythonscraping.com/pages/page1.html") if title == None: print("Title could not be found") else: print(title) 이 예제에서는 페이지 타이틀을 반환하거나, 어떤 문제가 있으면 None 객체를 반환하는 getTitle 함수를 만듭니다. getTitle 내부에서는 이전 예제와 마찬가지로 HTTPError 를 체크하고 BeautifulSoup 행 두 개를 try 문으로 캡슐화합니다. 이 두 행 중 어느 행이라도 AttributeError 를 일으킬 수 있습니다. 예를 들어 서버가 존재하지 않으면 html 은 None 객체이고 html.read() 가 AttributeError 를 일으킬 겁니다. try 문 하나에 원하는 만큼 여러 행을 넣을 수도 있고, AttributeError 를 일으킬 수 있는 별도의 함수도 어느 시점에서든 호출할 수 있습니다. 스크레이퍼를 만들 때는 코드의 전반적 패턴에 대해 생각해야 예외도 처리하고 읽기도 쉽게 만들 수 있습니다. 코드를 많이 재사용하고 싶을 텐데, getSiteHTML 이나 getTitle 같은 범용 함수를 만들고 여기에 예외 처리를 철저하게 만들어두면 빠르고 믿을 수 있는 웹 스크레이퍼를 쉽게 만들 수 있습니다. 파이썬으로 웹 크롤러 만들기 초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법
한선용
3개발5분 읽기
[파이썬으로 웹 크롤러 만들기] 크롤링 시작하기(1/3)
여태까지 이 책에서 사용한 예제는 정적 페이지 하나만 분석하는 예제였고, 다소 인위적으로 만든 예제였습니다. 이 장에서는 여러 페이지, 여러 사이트를 이동하는 스크레이퍼를 통해 실제 문제를 살펴보겠습니다. 웹 크롤러라는 이름은 웹을 크롤링하기 때문에 붙은 이름입니다. 그 핵심은 재귀입니다. 웹 크롤러는 URL에서 페이지를 가져오고, 그 페이지를 검사해 다른 URL을 찾고, 다시 그 페이지를 가져오는 작업을 무한히 반복합니다. 하지만 조심하십시오. 웹 크롤링이 가능하다는 것과 웹 크롤링을 해야 한다는 것은 다른 이야기입니다. 이전 예제에서 사용한 스크레이퍼는 모든 데이터가 페이지 하나에 들어 있는 상황에는 잘 동작합니다. 웹 크롤러를 사용할 때는 반드시 대역폭에 세심한 주의를 기울여야 하며, 타겟 서버의 부하를 줄일 방법을 강구해야 합니다. 3.1 단일 도메인 내의 이동 ‘위키백과의 여섯 다리’에 대해서는 못 들어봤더라도, 아마 ‘케빈 베이컨의 여섯 다리’에 대해서는 들어봤을 겁니다. 두 게임 모두 목표는 관계가 없어 보이는 두 대상을 연결하는 겁니다. 위키백과의 경우는 링크로 연결된 항목, 케빈 베이컨의 경우는 같은 영화에 등장한 배우라는 조건으로, 총 여섯 단계(시작과 목표를 포함) 안에 찾는 거죠. 예를 들어 에릭 아이들Eric Idle은 브렌던 프레이저Brendan Fraser와 함께 에 출연했고, 브렌던 프레이저는 케빈 베이컨과 함께 에 출연했습니다(http://oracleofbacon.org 에서 배우 사이의 관계에 대해 알 수 있었습니다). 이 경우 에릭 아이들과 케빈 베이컨을 잇는 고리는 세 단계밖에 되지 않습니다. 이 섹션에서는 위키백과의 여섯 다리를 푸는 프로젝트를 시작할 겁니다. 즉, 에릭 아이들의 페이지( https://en.wikipedia.org/wiki/Eric_Idle )에서 시작해 케빈 베이컨의 페이지( https://en.wikipedia.org/wiki/Kevin_Bacon )에 닿는 최소한의 클릭 수를 찾을 겁니다. 하지만 위키백과의 서버 부하에 대한 대책은? 위키백과 재단에 따르면 위키백과 방문자는 대략 초당 2,500명이며, 그중 99퍼센트 이상이 다른 위키백과 도메인으로 이동합니다(자세한 내용은 ‘숫자로 보는 위키미디어’ 페이지( http://bit.ly/2f2ZZXx )를 읽어보십시오). 워낙 트래픽이 대단하니, 우리가 만들 웹 스크레이퍼 정도는 위키백과 서버에 별 영향을 끼치지 않을 겁니다. 하지만 이 책의 코드 샘플을 집중적으로 사용하거나 위키백과 사이트를 스크랩하는 프로젝트를 만든다면 위키백과 재단에 기부(세액 공제도 됩니다)하는 것을 권합니다. 다만 몇 달러라도 당신이 차지하는 서버 부하를 경감하고 만인을 위한 교육 자원에 보탬이 될 겁니다. 지금쯤이면 임의의 위키백과 페이지를 가져와서 페이지에 들어 있는 링크 목록을 가져오는 파이썬 스크립트 정도는 쉽게 만들 수 있을 겁니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://en.wikipedia.org/wiki/Kevin_Bacon") bsObj = BeautifulSoup(html, "html.parser") for link in bsObj.findAll("a"): if 'href' in link.attrs: print(link.attrs['href']) 링크 목록을 살펴보면 예상대로 ‘Apollo 13’, ‘Philadelphia’, ‘Primetime Emmy Award’ 등이 모두 있을 겁니다. 하지만 원하지 않는 것들도 포함되어 있습니다. //wikimediafoundation.org/wiki/Privacy_policy //en.wikipedia.org/wiki/Wikipedia:Contact_us 사실 위키백과의 모든 페이지에는 사이드바, 푸터, 헤더 링크가 있고 카테고리 페이지, 토론 페이지 등 그 외에도 우리가 관심 있어 하는 항목이 아닌 페이지를 가리키는 링크가 많이 있습니다. /wiki/Category:Articles_with_unsourced_statements_from_April_2014 /wiki/Talk:Kevin_Bacon 최근 필자의 친구는 이와 비슷한 위키백과 스크레이핑 프로젝트를 만들다가 내부 위키백과 링크가 항목 페이지인지 아닌지 판단하는 100행이 넘는 거대한 필터링 함수를 만들게 되었다고 말했습니다. 친구가 ‘항목 링크’와 ‘다른 링크’를 구분하는 패턴을 발견하는 데 시간을 많이 들인 것 같지는 않습니다. 그랬다면 뭔가 규칙을 발견했을 테니까요. 항목 페이지를 가리키는 링크에는 다른 내부 페이지를 가리키는 링크와 비교되는 세 가지 공통점을 찾을 수 있습니다. 이 링크들은 id 가 bodyContent 인 div 안에 있습니다. URL에는 세미콜론이 포함되어 있지 않습니다. URL은 /wiki/ 로 시작합니다. 이들 규칙을 활용하면 항목 페이지를 가리키는 링크만 가져오도록 코드를 수정할 수 있습니다. from urllib.request import urlopen from bs4 import BeautifulSoup import re html = urlopen("http://en.wikipedia.org/wiki/Kevin_Bacon") bsObj = BeautifulSoup(html, "html.parser") for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$")): if 'href' in link.attrs: print(link.attrs['href']) 이 코드를 실행하면 케빈 베이컨의 위키백과 항목에서 다른 항목을 가리키는 모든 링크 목록을 볼 수 있습니다. 특정 위키백과 항목에서 다른 항목을 가리키는 모든 링크 목록을 가져오는 이 스크립트도 물론 흥미롭긴 하지만, 현실적으로는 별 쓸모가 없습니다. 이 코드는 다음과 같은 형태로 바꿀 수 있어야 합니다. /wiki/ 형태인 위키백과 항목 URL을 받고, 링크된 항목 URL 목록 전체를 반환하는 getLinks 함수 시작 항목에서 getLinks 를 호출하고 반환된 리스트에서 무작위로 항목 링크를 선택하여 getLinks 를 다시 호출하는 작업을, 프로그램을 끝내거나 새 페이지에 항목 링크가 없을 때까지 반복하는 메인 함수 다음 코드가 그와 같은 코드입니다. from urllib.request import urlopen from bs4 import BeautifulSoup import datetime import random import re random.seed(datetime.datetime.now()) def getLinks(articleUrl): html = urlopen("http://en.wikipedia.org"+articleUrl) bsObj = BeautifulSoup(html, "html.parser") return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$")) links = getLinks("/wiki/Kevin_Bacon") while len(links) > 0: newArticle = links[random.randint(0, len(links)-1)].attrs["href"] print(newArticle) links = getLinks(newArticle) 이 프로그램이 필요한 라이브러리를 임포트한 후 처음 하는 일은 현재 시스템 시간을 가지고 난수 발생기를 실행하는 겁니다. 이렇게 하면 프로그램을 실행할 때마다 위키백과 항목들 속에서 새롭고 흥미로운 무작위 경로를 찾을 수 있습니다. 의사 난수와 무작위 시드 앞의 예제에서 필자는 파이썬의 난수 발생기를 사용해 각 페이지에서 무작위로 항목을 선택해, 위키백과를 무작위로 이동했습니다. 하지만 난수는 조심해서 써야 합니다. 컴퓨터는 정확한 답을 계산하는 데는 강하지만, 뭔가 창조하는 데는 심각하게 약합니다. 따라서 난수를 만드는 것도 매우 어려운 일입니다. 대부분의 난수 알고리즘은 균등하게 분배되고 예측하기 어려운 숫자들을 만들어내기 위해 최선을 다하며, 이런 알고리즘이 기동하기 위해서는 시드 숫자가 필요합니다. 시드 숫자가 일치하면 그 결과인 난수 배열도 항상 일치합니다. 따라서 시스템 시간으로 난수 배열을 만들면 항목도 무작위로 고를 수 있습니다. 이렇게 하면 프로그램도 좀 더 흥미진진해집니다. 궁금해할 사람들을 위해 좀 더 첨언하면, 파이썬의 의사 난수 발생기는 메르센 트위스터 알고리즘 Mersenne Twister algorithm 을 사용합니다. 이 알고리즘은 예측하기 어렵고 균일하게 분산된 난수를 만들긴 하지만, 프로세서 부하가 좀 있는 편입니다. 이렇게 훌륭한 난수를 공짜로 얻을 순 없는 거죠. 그다음 getLinks 함수를 정의합니다. 이 함수는 /wiki/... 형태로 된 URL을 받고 그 앞에 위키백과 도메인 이름인 http://en.wikipedia.org 를 붙여, 그 위치의 HTML에서 BeautifulSoup 객체를 가져옵니다. 그리고 앞에서 설명한 매개변수에 따라 항목 링크 태그 목록을 추출해서 반환합니다. 이 프로그램은 초기 페이지인 https://en.wikipedia.org/wiki/Kevin_Bacon 의 링크 목록을 links 변수로 정의하며 시작합니다. 그리고 루프를 실행해서 항목 링크를 무작위로 선택하고, 선택한 링크에서 href 속성을 추출하고, 페이지를 출력하고, 추출한 URL에서 새 링크 목록을 가져오는 작업을 반복합니다. 물론 단순히 페이지에서 페이지로 이동하는 스크레이퍼를 만들었다고 위키백과의 여섯 다리 문제가 풀리는 것은 아닙니다. 반드시 결과 데이터를 저장하고 분석할 수 있어야 합니다. 데이터의 저장과 분석은 5장에서 설명하겠습니다. CAUTION_ 예외 처리를 잊지 마세요! 이 예제에서는 간결함을 위해 예외 처리를 대부분 생략했지만, 잠재적 함정이 많이 있음을 알아야 합니다. 예를 들어 위키백과에서 bodyContent 태그의 이름을 바꾼다면 어떻게 될까요? (힌트: 충돌이 일어납니다.) 주의 깊게 살펴보며 진행한다면 이 스크립트 예제도 별문제는 없지만, 자동으로 실행되는 실무 코드에서는 예외 처리가 이 책에서 다룰 수 있는 것보다 훨씬 더 많이 필요합니다. 이에 관해서는1장 을 다시 읽어보십시오.
한선용
4개발4분 읽기
[파이썬으로 웹 크롤러 만들기] 고급 HTML 분석(1/4)
미켈란젤로는 다비드상 같은 걸작을 어떻게 만들었는지 질문을 받았을 때 이런 명언을 남겼습니다. “쉽습니다. 돌에서 다비드처럼 보이지 않는 부분을 깎아내기만 하면 됩니다.” 웹 스크레이핑이 조각과 비슷한 부분은 별로 없지만, 복잡한 웹 페이지에서 필요한 정보를 얻어낸다는 점에서는 미켈란젤로와 비슷한 방식을 따라야 합니다. 원하지 않는 콘텐츠를 깎아내서 필요한 정보를 얻는 방법은 여러 가지가 있습니다. 이 장에서는 복잡한 HTML 페이지를 분석해서 원하는 정보만 추출하는 방법을 알아보겠습니다. 2.1 닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다 복잡한 태그를 만나면 당장 달려들어 여러 줄의 코드를 써서라도 필요한 정보를 추출하고 싶은 생각이 들 겁니다. 하지만 이 장에서 소개하는 테크닉을 부주의하게 사용한다면 코드는 디버그하기 어려워지거나, 취약해지거나, 혹은 둘 다가 될 수도 있습니다. 시작하기 전에, 고급 HTML 분석을 쓰지 않아도 필요한 결과를 얻을 수 있는 방법을 몇 가지 알아봅시다. 당신이 원하는 콘텐츠가 있습니다. 그 콘텐츠는 이름일 수도, 통계 자료일 수도, 텍스트 블록 일 수도 있겠죠. 그리고 그 콘텐츠는 20단계나 되는 HTML 덩어리 속에, 단서가 될 만한 태그나 속성 하나 없이 파묻혀 있을 수도 있습니다. 당장 달려들어, 다음과 비슷한 코드를 짰다고 합시다. bsObj.findAll("table")[4].findAll("tr")[2].find("td").findAll("div")[1].find("a") 별로 좋아 보이지는 않는군요. 간결함이나 우아함은 찾아볼 수 없을뿐더러, 사이트 관리자가 사이트를 조금만 수정하더라도 웹 스크레이퍼의 동작이 멈출 수 있습니다. 그럼 어떻게 해야할까요? ‘페이지 인쇄’ 같은 링크를 찾아보거나, 더 나은 HTML 구조를 갖춘 모바일 버전 사이트를 찾아보십시오(모바일 장치에서 접근하는 것처럼 속이거나 모바일 사이트 버전을 가져오는 방법은 12장에서 다룹니다). 자바스크립트 파일에 숨겨진 정보를 찾아보십시오. 물론 이렇게 하려면 자바스크립트 파일을 불러와서 분석해야 할 겁니다. 필자는 사이트에 포함된 구글 지도를 조작하는 자바스크립트를 살펴본 후 위도와 경도가 포함된 거리 주소를, 깔끔하게 배열로 정리된 형태로 수집했던 일이 있습니다. 중요한 정보는 페이지 타이틀에 있을 때가 대부분이지만, 원하는 정보가 페이지 URL에 들어 있을 때도 있습니다. 원하는 정보가 오직 이 웹사이트에만 있다면 할 수 있는 일이 더는 없을 수 있습니다. 그렇지 않다면, 이 정보를 다른 소스에서 가져올 수는 없는지 생각해보십시오. 다른 웹사이트에 같은 데이터가 있지는 않을까요? 이 웹사이트에 있는 데이터가 혹시 다른 웹사이트에서 수집한 것은 아닐까요? 데이터가 깊숙이 파묻혀 있거나 정형화되지 않았을수록, 곧바로 코드부터 짜서는 안 됩니다. 심호흡을 하고 대안이 없는지 생각해보십시오. 대안이 없다고 확신한다면, 이 장의 내용이 도움이 될 겁니다 2.2 다시 BeautifulSoup 1장에서는 BeautifulSoup를 설치하고 실행하는 방법을 훑어봤고, 한 번에 객체 하나씩 선택하는 방법도 알아봤습니다. 이 섹션에서는 속성을 통해 태그를 검색하는 법, 태그 목록을 다루는 법, 트리 내비게이션을 분석하는 법을 알아보겠습니다. 거의 모든 웹사이트에 스타일시트가 존재합니다. 웹사이트의 스타일 계층은 육안으로 해석하는 것을 위해 만들어진 것이라 웹 스크레이핑에는 별 도움이 되지 않는다고 생각할 수 있겠지만, 사실 CSS의 등장은 웹 스크레이퍼에도 큰 도움이 되었습니다. CSS는 HTML 요소를 구분해서 서로 다른 스타일을 적용합니다. 예를 들어 다음과 같은 태그가 있다고 해봅시다. 그리고 다음과 같은 태그도 있다고 합시다. 이 경우 웹 스크레이퍼는 클래스를 이용해 쉽게 이 태그들을 구별할 수 있습니다. 예를 들어 BeautifulSoup는 빨간색 텍스트만 전부 수집하고 녹색 텍스트는 수집하지 않을 수 있습니다. CSS는 이런 속성을 통해 사이트에 스타일을 적용하며, 오늘날의 웹사이트 대부분은 이런 클래스( class )와 ID( id ) 속성이 가득합니다. http://www.pythonscraping.com/pages/warandpeace.html 페이지를 스크랩하는 예제 웹스크레이퍼를 만들어봅시다. 이 페이지에서 등장인물이 말하는 대사는 빨간색으로, 등장인물의 이름은 녹색으로 표시되어 있습니다. 다음 소스 코드 샘플을 보면 span 태그에 적절한 CSS 클래스가 붙어 있습니다. Heavens! what a virulent attack! " replied the prince , not in the least disconcerted by this reception. 페이지 전체를 가져온 다음, BeautifulSoup 객체로 1장에서 썼던 것과 비슷한 프로그램을 만들 수 있습니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html") bsObj = BeautifulSoup(html, "html.parser") 이 BeautifulSoup 객체에 findAll 함수를 쓰면 태그에 들어 있는 텍스트만 선택해서 고유명사로 이루어진 파이썬 리스트를 추출할 수 있습니다( findAll 은 대단히 유연한 함수이며 이 책 후반에서 매우 자주 사용합니다). nameList = bsObj.findAll("span", {"class":"green"}) for name in nameList: print(name.get_text()) 이 코드는 『전쟁과 평화』에 등장하는 모든 고유명사를 순서대로 출력합니다. 어떤 원리로 그렇게 동작하는 걸까요? 이전에는 bsObj.tagName 을 호출해서 페이지에 처음 나타난 태그를 찾아냈습니다. 이번에는 bsObj.findAll(tagName, tagAttributes) 을 호출해서 첫 번째 태그만이 아니라 페이지의 태그 전체를 찾은 겁니다. 이름 리스트를 만든 뒤에는 리스트의 모든 이름을 순회하며 name.get_text() 를 호출해 태그를 제외하고 콘텐츠만 출력합니다. [NOTE get_text() 를 쓸 때와 태그를 보존할 때] .get_text() 는 현재 문서에서 모든 태그를 제거하고 텍스트만 들어 있는 문자열을 반환합니다. 예를 들어 하이퍼링크, 문단, 기타 태그가 여럿 들어 있는 텍스트 블록에 사용하면 태그 없는 텍스트만 남습니다. 텍스트 블록보다는 BeautifulSoup 객체에 사용하는 게 원하는 결과를 얻기가 훨씬 쉽습니다. .get_text() 는 항상 마지막, 즉 최종 데이터를 출력하거나 저장, 조작하기 직전에만 써야 합니다. 일반적으로는 문서의 태그 구조를 가능한 유지해야 합니다. ▼ 초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법
한선용
5개발7분 읽기
[파이썬으로 웹 크롤러 만들기] 크롤링 시작하기(2/3)
3.2 전체 사이트 크롤링 이전 섹션에서는 링크에서 링크로 움직이며 웹사이트를 무작위로 이동했습니다. 하지만 사이트의 모든 페이지를 어떤 시스템에 따라 분류하거나 검색해야 한다면 이런 방식은 적합하지 않습니다. 사이트 전체 크롤링, 특히 거대한 사이트의 크롤링은 메모리를 많이 요구하며 크롤링 결과를 바로 저장할 데이터베이스가 준비된 애플리케이션에 적합합니다. 하지만 이런 애플리케이션을 실제 규모로 실행하지 않아도, 어떻게 움직이는지 알아보는 건 가능합니다. 데이터베이스를 이용하는 애플리케이션에 대해서는 5장을 보십시오. 다크 웹과 딥 웹 딥 웹 deep Web , 다크 웹 dark Web , 히든 웹 hidden Web 같은 용어를 최근 많이 들어봤을 겁니다. 이들은 무슨 뜻일까요? 딥 웹은 간단히 말해 표면 웹 surface Web , 즉 검색 엔진에서 저장하는 부분을 제외한 나머지 웹을 일컫습니다. 정확히 알 수는 없지만, 딥 웹은 틀림없이 인터넷의 9할 정도를 차지할 겁니다. 구글도 폼을 전송하거나, 최상위 도메인에서 링크되지 않은 페이지를 찾아내거나, robots.txt 로 막혀 있는 사이트를 조사할 수는 없으므로, 표면 웹은 비교적 작은 비율을 차지합니다. 다크 웹은 다크넷, 다크 인터넷이라고도 부르며 완벽히 다른 종류입니다. 다크 웹은 기존 네트워크 기반 구조에서 동작하기는 하지만, Tor 클라이언트와 HTTP 위에서 동작하며 보안 채널로 정보를 교환하는 애플리케이션 프로토콜을 사용합니다. 다크 웹도 다른 웹사이트와 마찬가지로 스크랩할 수는 있지만 이 책의 범위는 벗어납니다. 다크 웹과 달리 딥 웹은 비교적 쉽게 스크랩할 수 있습니다. 사실 이 책에서도 구글 봇이 검색할 수 없는 곳을 탐색하고 스크랩하는 여러 도구를 소개합니다. 그러면 웹사이트 전체 크롤링은 언제 유용하고, 언제 손해일까요? 사이트 전체를 이동하는 웹 스크레이퍼에는 여러 가지 장점이 있습니다. 몇 가지 꼽자면 다음과 같습니다. | 사이트맵 생성 | 몇 해 전에 필자는 한 가지 문제를 겪었습니다. 중요한 클라이언트가 웹사이트 재설계 비용이 얼마나 될지 알아봐달라고 했지만, 현재 사용 중인 콘텐츠 관리 시스템 내부에 접근 권한을 주기는 꺼렸고 공개된 사이트맵도 없는 상황이었습니다. 필자는 사이트 전체를 이동하는 크롤러를 이용해 내부 링크를 모두 수집하고, 그 페이지들을 사이트의 실제 폴더 구조와 똑같이 정리 할 수 있었습니다. 이를 통해 존재하는지조차 몰랐던 부분들을 빨리 발견할 수 있었고, 다시 설계해야 하는 페이지가 얼마나 되고 이동해야 할 컨텐츠가 얼마나 되는지 정확히 산출할 수 있었습니다. | 데이터 수집 | 어떤 클라이언트는 글(이야기, 블로그 포스트, 뉴스 기사 등)을 수집해서 전문화 검색 플랫폼의 프로토타입을 만들고 싶다고 의뢰했습니다. 이들 웹사이트는 철저히 탐색할 필요는 없었지만, 광범위하게 진행해야 했습니다(데이터를 가져올 사이트가 많지는 않았습니다). 필자는 각 사이트를 재귀적으로 이동하는 크롤러를 만들어 기사 페이지에서만 데이터를 수집할 수 있었습니다. 사이트를 철저히 크롤링하려면 보통 홈페이지 같은 최상위 페이지에서 시작해, 그 페이지에 있는 내부 링크를 모두 검색합니다. 검색한 링크를 모두 탐색하고, 거기서 다시 링크가 발견되면 크롤링 다음 라운드가 시작됩니다. 당연히 일은 금새 엄청나게 커집니다. 모든 페이지에 내부 링크가 10개씩 있고 사이트가 다섯 단계로 구성되어 있다면(중간 규모 사이트에서는 매우 일반적인 깊이입니다), 최소 105페이지, 최대 100,000페이지를 찾아야 사이트를 철저히 탐색했다고 할 수 있습니다. 좀 이상한 일이지만 ‘다섯 단계에, 페이지당 내부 링크 10개’가 매우 일반적인 크기인데도, 실제로 100,000페이지 이상으로 구성된 웹사이트는 거의 없습니다. 이유는 물론 내부 링크 중 상당수가 중복이기 때문입니다. 같은 페이지를 두 번 크롤링하지 않으려면 발견되는 내부 링크가 모두 일정한 형식을 취하고, 프로그램이 동작하는 동안 계속 유지되는 리스트에 보관하는 게 대단히 중요합니다. 새로운 링크만 탐색하고 거기서 다른 링크를 검색해야 합니다. from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html, "html.parser") for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: # 새 페이지를 발견 newPage = link.attrs['href'] print(newPage) pages.add(newPage) getLinks(newPage) getLinks("") 웹 크롤링이 어떻게 동작하는지 충분히 보여드리기 위해, 이전 예제에서 사용한 내부 링크 기준을 완화했습니다. 이번에는 스크레이퍼가 항목 페이지만 찾는 게 아니라, /wiki/ 로 시작하는 모든 링크를 찾으며, div 의 id 나 콜론이 있는지 없는지도 검사하지 않습니다(항목 페이지에는 콜론이 들어 있지 않지만 파일 업로드 페이지나 토론 페이지, 또는 이 비슷한 링크들은 URL에 콜론이 들어 있습니다). 먼저 getLinks 에 빈 URL을 넘겨 호출합니다. 함수 내부에서는 빈 URL의 앞에 http://en.wikipedia.org 을 붙여 위키백과 첫 페이지 URL로 바꿉니다. 다음에는 첫 번째 페이지의 각 링크를 순회하며 전역 변수인 pages 에 들어 있는지 아닌지를 검사합니다. pages 는 스크립트가 이미 발견한 페이지의 세트입니다. pages 에 들어 있지 않은 링크라면 리스트에 추가하고, 화면에 출력한 다음, getLinks 함수를 재귀적으로 호출합니다. CAUTION_ 재귀에 관한 경고 이 내용은 소프트웨어 책에 보통 포함되어 있지는 않지만, 필자는 짚고 넘어가야 한다고 생각합니다. 위 프로그램은 오랫동안 실행하면 거의 확실히 죽어버립니다. 파이썬은 기본적으로 재귀 호출을 1,000회로 제한합니다. 위키백과의 링크 네트워크는 대단히 넓으므로 이 프로그램은 결국 재귀 제한에 걸려서 멈추게 됩니다. 멈추는 일을 막으려면 재귀 카운터를 삽입하거나 다른 방법을 강구해야 합니다. 링크 깊이가 1,000단계까지 들어가지 않는 일반적인 사이트에서는 이 방법도 보통 잘 동작하지만, 가끔 예외는 있습니다. 예를 들어 필자는 블로그 포스트를 가리키는 내부 링크를 일정한 규칙에 따라 생성하는 웹사이트를 본 일이 있습니다. 그 규칙은 ‘현재 보고 있는 페이지 URL을 취해 /blog/title_of_blog.php 를 덧붙인다’는 규칙이었습니다. 문제는 URL에 이미 /blog/ 가 들어 있는 페이지에도 /blog/title_of_blog.php 를 붙인다는 겁니다. 그러면 /blog/ 가 또 추가되죠. 결국 필자가 만든 크롤러는 /blog/blog/blog/blog.../blog/title_of_blog.php 같은 URL까지 방문해야 하는 상황이었습니다. 결국 필자는 URL이 너무 우스꽝스러워 보이지는 않는지, 무한 루프로 보이는 반복된 조각이 들어 있지는 않는지 체크하는 코드를 삽입해야 했습니다. 이렇게 하지 않고 밤새 돌아가도록 내버려뒀더라면 금새 정지했을 겁니다. 3.2.1 전체 사이트에서 데이터 수집 물론 웹 크롤러가 페이지와 페이지 사이를 옮겨 다니기만 한다면 쓸모가 없을 겁니다. 쓸모가 있으려면 페이지에 머무르는 동안 뭔가 다른 일을 할 수 있어야죠. 페이지 제목, 첫 번째 문단, 편집 페이지를 가리키는 링크(존재한다면)를 수집하는 스크레이퍼를 만들어봅시다. 항상 그렇지만, 이런 일을 가장 잘하기 위해 첫 번째 할 일은 사이트의 페이지 몇 개를 살펴보며 패턴을 찾는 일입니다. 위키백과에서 항목 페이지와 개인정보 정책 페이지 같은 항목 외 페이지를 여럿 봤다면 다음과 같은 패턴을 알 수 있을 겁니다. 항목 페이지든 편집 내역 페이지든 기타 무슨 페이지든 상관없이 제목은 항상 h1 태그 안에 있으며 h1 태그는 페이지당 하나만 존재합니다. 이미 언급했듯 모든 바디 텍스트는 div#bodyContent 태그에 들어 있습니다. 하지만 더 명확하게 첫 번째 문단의 텍스트만 선택하려 한다면 div#mw-content-text → p 로 첫 번째 문단 태그만 선택하는 편이 나을 수 있습니다. 이 방법은 콘텐츠 텍스트 섹션이 없는 파일 페이지(예를 들어 https://en.wikipedia.org/wiki/File:Orbit_of_274301_Wikipedia.svg )를 제외한 모든 콘텐츠 페이지에 적용됩니다. 편집 링크는 항목 페이지에만 존재합니다. 존재한다면 li#ca-edit → span → a 로 찾을 수 있습니다. 기본 크롤링 코드를 수정해서 크롤러와 데이터 수집(최소한 출력은 가능한) 기능이 있는 프로그램을 만들 수 있습니다. from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html, "html.parser") try: print(bsObj.h1.get_text()) print(bsObj.find(id ="mw-content-text").findAll("p")[0]) print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href']) except AttributeError: print("This page is missing something! No worries though!") for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: newPage = link.attrs['href'] print("----------------"+newPage) pages.add(newPage) getLinks(newPage) getLinks("") 이 프로그램의 for 루프는 이전의 크롤링 프로그램과 거의 같습니다. 출력되는 콘텐츠를 더 명확히 구분하기 위해 대시를 추가했습니다. 원하는 데이터가 모두 페이지에 있다고 확신할 수는 없으므로, 각 print 문은 페이지에 존재할 확률이 높은 순서대로 정렬했습니다. 타이틀 태그는 모든 페이지에 존재하므로 이 데이터를 가장 먼저 가져옵니다. 파일 페이지를 제외하면, 대부분의 페이지에 텍스트 콘텐츠가 존재하므로 이것이 두 번째로 가져올 데이터입니다. 편집 버튼은 제목과 텍스트 콘텐츠가 모두 존재하는 페이지에만 있지만, 그렇다고 해도 100퍼센트는 아닙니다. CAUTION_ 패턴에 따라 필요한 작업이 다릅니다 예외 핸들러 안에 여러 행을 넣는 것은 위험합니다. 우선 어떤 행에서 예외가 일어날지 모릅니다. 또한, 어떤 이유로든 페이지에 편집 버튼만 있고 제목이 없다면 편집 버튼도 가져오지 않게 됩니다. 하지만 원하는 데이터가 사이트에 있을 확률에 순서가 있고, 일부 데이터를 잃어도 되거나 자세한 로그를 유지할 필요가 없는 경우(자주 있습니다)에는 별문제가 없습니다. 여태까지는 데이터를 출력하기만 했을 뿐 ‘수집’하지는 않았습니다. 물론 터미널 화면에 있는 데이터는 가공하기 어렵습니다. 데이터를 저장하고 데이터베이스를 만드는 것은 5장에서 알아보겠습니다.
한선용
6개발1분 읽기
[파이썬으로 웹 크롤러 만들기] 고급 HTML 분석(3/4)
2.2.2 기타 BeautifulSoup 객체 이 책에서는 지금까지 BeautifulSoup 라이브러리의 두 가지 객체를 설명했습니다. | BeautifulSoup 객체 | 이전 코드 예제에서는 bsObj 와 같은 형태로 사용했습니다. | Tag 객체 | 리스트 호출 또는 BeautifulSoup 객체에 find 와 findAll 을 호출해서 또는 다음과 같이 탐색해 들어가서 얻습니다. bsObj.div.h1 하지만 두 가지 객체가 더 있습니다. 널리 쓰이지는 않지만 알아둘 가치는 있습니다. | NavigableString 객체 | 태그 자체가 아니라 태그 안에 들어 있는 텍스트를 나타냅니다. 일부 함수는 NavigableStrings 를 Strings 를 다루거나 반환합니다. | Comment 객체 | 주석 태그 안에 들어 있는 HTML 주석( )을 찾는 데 사용합니다. 이 책을 쓰는 시점에서 BeautifulSoup 라이브러리에는 이 네 가지 객체가 전부입니다.
한선용
7개발3분 읽기
[파이썬으로 웹 크롤러 만들기] 고급 HTML 분석(2/4)
2.2.1 find() 와 findAll() find() 와 findAll() 은 BeautifulSoup에서 가장 자주 쓰는 함수입니다. 이 함수를 쓰면 HTML 페이지에서 원하는 태그를 다양한 속성에 따라 쉽게 필터링할 수 있습니다. 두 함수는 거의 비슷한데, BeautifulSoup 문서의 함수 정의만 봐도 알 수 있습니다. findAll(tag, attributes, recursive, text, limit, keywords) find(tag, attributes, recursive, text, keywords) 실제로 이 함수를 쓸 때는 거의 항상 처음 두 매개변수인 tag 와 attributes 만 쓰게 될 겁니다. 하지만 매개변수 모두 살펴봅시다. tag 매개변수는 이미 봤습니다. 태그 이름인 문자열을 넘기거나, 태그 이름으로 이루어진 파이썬 리스트를 넘길 수도 있습니다. 예를 들어 다음 코드는 문서의 모든 헤더 태그 리스트를 반환합니다. - 문서의 모든 제목( h1 ~ h6) 태그 리스트를 얻고자 한다면 더 간결한 방법이 있습니다.2 .4절에서 살펴보겠습니다. .findAll({"h1","h2","h3","h4","h5","h6"}) attributes 매개변수는 속성으로 이루어진 파이썬 딕셔너리를 받고, 그중 하나에 일치하는 태그를 찾습니다. 예를 들어 다음 함수는 HTML 문서에서 녹색과 빨간색 span 태그를 모두 반환합니다. .findAll("span", {"class":{"green", "red"}}) recursive 매개변수는 불리언입니다. 문서에서 얼마나 깊이 찾아 들어가고 싶은지를 지정합니다. recursive 가 True 이면 findAll 함수는 매개변수에 일치하는 태그를 찾아 자식, 자식의 자식을 검색합니다. false 이면 문서의 최상위 태그만 찾습니다. 기본적으로 findAll 은 재귀적으로( recursive 가 True ) 동작합니다. 일반적으로 이 옵션은 그대로 두는 것이 좋습니다(원하는 것이 무엇인지 정확히 알고 있으며 성능이 중요한 상황이 아니라면). text 매개변수는 태그의 속성이 아니라 텍스트 콘텐츠에 일치한다는 점이 좀 다릅니다. 예를 들어 예제 페이지에서 태그에 둘러싸인 ‘the prince’가 몇 번 나타났는지 보려면 이전 예제의 .findAll() 함수를 다음과 같이 고치면 됩니다. nameList = bsObj.findAll(text="the prince") print(len(nameList)) 출력 결과는 7입니다. limit 매개변수는 물론 findAll 에만 쓰입니다. find 는 findAll 을 호출하면서 limit 을 1로 지정한 것과 같습니다. 이 매개변수는 페이지의 항목 처음 몇 개 에만 관심이 있을 때 사용합니다. 이 매개변수는 페이지에 나타난 순서대로 찾으며 그 순서가 원하는 바와 일치한다는 보장은 없으므로 주의하십시오. keyword 매개변수는 특정 속성이 포함된 태그를 선택할 때 사용합니다. allText = bsObj.findAll(id="text") print(allText[0].get_text()) [NOTE_ keyword 매개변수를 쓸 때 주의할 점] keyword 매개변수는 특정 상황에서 매우 유용할 수 있습니다. 하지만 이 매개변수는 기술적으로는 BeautifulSoup 자체의 기능과 중복되기도 합니다. keyword 로 할 수 있는 일은 이 장 후반부에서 설명하는 방법을 써서도 할 수 있습니다. 예를 들어 다음 두 행은 완전히 같습니다. bsObj.findAll(id="text") bsObj.findAll("", {"id":"text"}) 또한 keyword 는 가끔 문제를 일으키는데, 가장 흔한 경우는 class 속성으로 요소를 검색할 때 일어나며 이는 class 가 파이썬에서 보호된 키워드이기 때문입니다. 즉, class 는 파이썬 예약어( keyword) 이므로 변수나 매개변수 이름으로 쓸 수 없습니다( BeautifulSoup.findAll() 의 keyword 매개변수와는 상관없습니다). - 파이썬 언어 레퍼런스 문서에서 예약어 목록 전체를 볼 수 있습니다( http://bit.ly/2eDDwVR ). 예를 들어 다음 행은 class 를 비표준적인 방법으로 사용하므로 문법 에러를 일으킵니다. bsObj.findAll(class="green") 대신 어설프지만, 밑줄을 추가하는 해결책을 쓸 수 있습니다. bsObj.findAll(class_="green") 혹은 class를 따옴표 안에 쓰는 방법도 있습니다. bsObj.findAll("", {"class":"green"}) 이쯤에서 이런 의문이 생길 수도 있겠군요. “잠깐. 원하는 속성을 딕셔너리 리스트에 담아서 함수에 전달하면 되지 않나?” 태그 목록을 .findAll() 에 속성 목록으로 넘기면 or 필터처럼 동작한다는 점, 즉 태그1, 태그2, 태그3 등이 들어간 모든 태그 목록을 선택하게 된다는 점을 기억하십시오. 태그 목록이 길다면 필요 없는 것들도 잔뜩 선택될 것입니다. keyword 매개변수는 and 필터처럼 동작하므로 그런 문제가 없습니다.
한선용
8개발4분 읽기
[파이썬으로 웹 크롤러 만들기] 고급 HTML 분석(4/4)
2.2.3 트리 이동 findAll 함수는 이름과 속성에 따라 태그를 찾습니다. 하지만 문서 안에서의 위치를 기준으로 태그를 찾을 때는 어떻게 해야 할까요? 이럴 때 트리 내비게이션이 필요합니다. 1장에서는 BeautifulSoup 트리를 단방향으로 이동하는 방법을 봤었습니다. bsObj.tag.subTag.anotherSubTag 이제 http://www.pythonscraping.com/pages/page3.html 에 있는 온라인 쇼핑 사이트를 스크레이핑 예제 페이지로 써서 HTML 트리를 이동하는 방법을 알아봅시다(그림 2-1). 그림 2-1 http://www.pythonscraping.com/pages/page3.html 스크린샷 이 페이지의 HTML은 다음과 같은 트리 구조로 나타낼 수 있습니다(간결함을 위해 일부 태그는 생략했습니다). html — body — div.wrapper — h1 — div.content — table#giftList — tr — th — th — th — th — tr.gift#gift1 — td — td — span.excitingNote — td — td — img — ...더 많은 테이블 행... — div.footer 다음 몇 섹션에 걸쳐 이 HTML 구조를 예제로 쓰겠습니다 자식과 자손 컴퓨터 과학과 일부 수학 분야에서는 자식들을 끔찍하게 다루곤 합니다. 이리저리 이동하고, 저장하고, 제거하고, 심지어 죽이기도 하죠. 다행히 BeautifulSoup에서는 자식들을 다른 방법으로 다룹니다. 여러 다른 라이브러리와 마찬가지로 BeautifulSoup 라이브러리도 자식 children 과 자손 descendants 을 구별합니다. 사람의 가족과 마찬가지로, 자식은 항상 부모보다 한 태그 아래에 있고, 자손은 조상보다 몇 단계든 아래에 있을 수 있습니다. 예를 들어 tr 태그는 table 태그의 자식이며 tr 과 th, td, img, span 은 모두 table 태그의 자손입니다(최소한 우리 예제 페이지에서는 말입니다). 모든 자식은 자손이지만, 모든 자손이 자식인 것은 아닙니다. 일반적으로 BeautifulSoup 함수는 항상 현재 선택된 태그의 자손을 다룹니다. 예를 들어 bsObj.body.h1 은 body 의 자손인 첫 번째 h1 태그를 선택합니다. body 바깥에 있는 태그에 대해서는 동작하지 않습니다. 마찬가지로 bsObj.div.findAll("img") 는 문서의 첫 번째 div 태그를 찾고, 그 div 태그의 자손인 모든 img 태그의 목록을 가져옵니다. 자식만 찾을 때는 .children 을 사용합니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj = BeautifulSoup(html, "html.parser") for child in bsObj.find("table",{"id":"giftList"}).children: print(child) 이 코드는 giftList 테이블에 들어 있는 제품 행 목록을 출력합니다. children() 대신 descendants() 함수를 썼다면 테이블에 포함된 태그가 20개 이상 출력됐을 테고, 거기에는 img, span, td 태그 등이 모두 포함됐을 겁니다. 자식과 자손의 구별이 중요합니다! 형제 다루기 BeautifulSoup의 next_siblings() 함수는 테이블에서 데이터를 쉽게 수집할 수 있으며, 특히 테이블에 타이틀 행이 있을 때 유용합니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj = BeautifulSoup(html, "html.parser") for sibling in bsObj.find("table",{"id":"giftList"}).tr.next_siblings: print(sibling) 이 코드의 출력 결과는 제품 테이블에서 첫 번째 타이틀 행을 제외한 모든 제품 행입니다. 타이틀 행은 왜 건너뛰었을까요? 이유는 두 가지입니다. 첫째, 객체는 자기 자신의 형제sibling가 될 수 없습니다. 객체의 형제를 가져올 때, 객체 자체는 항상 그 목록에서 제외됩니다. 둘째, 이 함수는 다음 형제만 가져옵니다. 예를 들어 우리가 목록 중간에 있는 임의의 행을 선택하고 next_siblings 을 호출했다면 그다음에 있는 형제들만 반환됩니다. 즉, 타이틀 행을 선택하고 next_siblings 을 호출하면 타이틀 행 자체를 제외한 모든 테이블 행을 선택하게 됩니다. [NOTE_ 선택은 명확하게 하십시오] 이전 코드는 bsObj.table.tr, 심지어 bsObj.tr 을 써서 테이블의 첫 번째 행을 선택했더라도 마찬가지로 잘 동작했을 겁니다. 하지만 필자는 번거로움을 무릅쓰고 위 코드를 길고 명확하게 작성했습니다. bsObj.find("table",{"id":"giftList"}).tr 설령 페이지에 테이블(또는 다른 타겟 태그)이 하나뿐인 것처럼 보일 때에도 실수를 하기 쉽습니다. 또한 페이지 레이아웃은 시시때때로 변합니다. 코드를 작성할 때는 페이지 처음에 있던 테이블이, 어느 날 보니 두 번째 또는 세 번째 테이블이 되어 있을 수도 있는 겁니다. 스크레이퍼를 더 견고하게 만들려면 항상 태그를 가능한한 명확하게 선택하는 것이 최선입니다. 가능하다면 태그 속성을 활용하십시오. next_siblings 를 보완하는 previous_siblings 함수도 있습니다. 이 함수는 원하는 형제 태그 목록의 마지막에 있는 태그를 쉽게 선택할 수 있을 때 사용합니다. 물론 next_siblings, previous_siblings 와 거의 같은 next_sibling, previous_sibling 함수도 있습니다. 이들 함수는 리스트가 아니라 태그 하나만 반환한다는 점을 빼면 똑같이 동작합니다. 부모 다루기 페이지를 스크랩하다 보면, 자식이나 형제가 아니라 아주 가끔은 부모 parent 를 찾아야 할 때도 있습니다. 일반적으로 HTML 페이지에서 데이터를 수집할 목적으로 살펴볼 때는 보통 맨 위계층에서 시작해 원하는 데이터까지 어떻게 찾아 들어갈지 생각하기 마련입니다. 하지만 가끔 BeautifulSoup의 부모 검색 함수 .parent 와 .parents 가 필요할 때도 있습니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj = BeautifulSoup(html, "html.parser") print(bsObj.find("img",{"src":"../img/gifts/img1.jpg" }).parent.previous_sibling.get_text()) 이 코드는 ../img/gifts/img1.jpg 이미지가 나타내는 객체의 가격(이 경우 $15.00)을 출력합니다. 어떻게 작동하는 것일까요? HTML 페이지에서 우리가 살펴볼 부분의 트리 구조를 숫자로 표시한 단계와 함께 나타내면 다음과 같습니다. — — — ③ — "$15.00" ④ — s ② — ① ① 먼저 src="../img/gifts/img1.jpg" 에 해당하는 이미지를 선택합니다. ② 부모 태그(이 경우 태그)를 선택합니다. ③ 2에서 선택한 의 previous_sibling (이 경우 제품 가격이 들어 있는 태그)을 선택합니다. ④ 태그에 들어 있는 텍스트인 $15.00를 선택합니다.
한선용
9개발5분 읽기
[파이썬으로 웹 크롤러 만들기] 크롤링 시작하기(3/3)
3.3 인터넷 크롤링 필자가 웹 스크레이핑에 대해 이야기할 때마다 누군가는 항상 이렇게 묻습니다. “구글 같은 기업은 어떻게 만들어지나요?” 필자의 대답은 항상 같습니다. “첫째, 수십억 달러를 모아 세계에서 가장 훌륭한 데이터센터를 만들고 세계 곳곳에 배치합니다. 두 번째로, 웹 크롤러를 만듭니다.” 구글이 1996년에 처음 시작되었을 때는 단 두 명의 스탠퍼드 대학원생뿐이었고, 그들이 가진 건 낡은 서버와 파이썬 웹 크롤러뿐이었습니다. 이제 당신도 이 사실을 알았으니, 다음 IT 억만장자가 될 수단을 갖춘 겁니다! 진지하게 말해서, 웹 크롤러는 여러 가지 최신 웹 기술의 핵심에 있고, 웹 크롤러를 사용하기 위해 반드시 거대한 데이터센터가 필요하지는 않습니다. 도메인 간 데이터 분석을 위해서는 인터넷의 무수히 많은 페이지에서 데이터를 가져오고 해석할 수 있는 크롤러가 필요합니다. 이전 예제와 마찬가지로 지금부터 만들 웹 크롤러도 링크를 따라 페이지와 페이지를 이동합니다. 하지만 이번에는 외부 링크를 무시하지 않고 따라갈 겁니다. 한 가지 도전이 추가됩니다. 이번에는 각 페이지에 관한 정보를 기록할 수 있는지 알아볼 겁니다. 여태까지 했던 것처럼 도메인 하나만 다루는 것보다는 어려울 겁니다. 웹사이트마다 레이아웃이 완전히 다르니까요. 따라서 어떤 정보를 찾을지, 어떻게 찾을지 매우 유연한 사고방식을 가져야 합니다. CAUTION_ 지금부터 일어날 일은 아무도 모릅니다 다음 섹션에서 사용할 코드는 인터넷 어디든지 갈 수 있음을 염두에 두십시오. 위키백과의 여섯 다리를 이해했다면 http://www.sesamestreet.org/ 에서 단 몇 번의 이동으로도 이상한 사이트에 도달할 수 있다는 것도 이해할 겁니다. 미성년자라면 이 코드를 실행하기 전에 먼저 부모와 상의하십시오. 법 규정이나 종교적인 이유로 성적인 사이트의 텍스트를 읽는 것을 금지한다면, 이후의 코드 예제를 읽는 건 상관없어도 실제 실행할 때는 주의를 기울이십시오. 단순히 외부 링크를 닥치는 대로 따라가는 크롤러를 만들기 전에 먼저 자신에게 다음과 같은 질문을 해보십시오. 내가 수집하려 하는 데이터는 어떤 것이지? 정해진 사이트 몇 개만 수집하면 되나? (이런 경우, 거의 틀림 없이 더 쉬운 방법이 있습니다.) 아니면 그런 사이트가 있는지조차 몰랐던 사이트에도 방문하는 크롤러가 필요할까? 크롤러가 특정 웹사이트에 도달하면, 즉시 새 웹사이트를 가리키는 링크를 따라가야 할까? 아니면 한동안 현재 웹사이트에 머물면서 파고들어야 할까? 특정 사이트를 스크랩에서 제외할 필요는 없나? 비 영어권 콘텐츠도 수집해야 할까? 만약 크롤러가 방문한 사이트의 웹마스터가 크롤러의 방문을 알아차렸다면 나 자신을 법적으로 보호할 수 있을까? (이 주제에 관해서는 부록 C를 읽어보십시오.) 파이썬 함수를 결합하면 다양한 웹 스크레이핑을 실행하는 코드를 쉽게 만들 수 있고, 이는 50줄도 안 되는 코드로도 충분히 가능합니다. from urllib.request import urlopen from bs4 import BeautifulSoup import re import datetime import random pages = set() random.seed(datetime.datetime.now()) # 페이지에서 발견된 내부 링크를 모두 목록으로 만듭니다. def getInternalLinks(bsObj, includeUrl): internalLinks = [] # /로 시작하는 링크를 모두 찾습니다. for link in bsObj.findAll("a", href=re.compile("^(/|.*"+includeUrl+")")): if link.attrs['href'] is not None: if link.attrs['href'] not in internalLinks: internalLinks.append(link.attrs['href']) return internalLinks # 페이지에서 발견된 외부 링크를 모두 목록으로 만듭니다. def getExternalLinks(bsObj, excludeUrl): externalLinks = [] # 현재 URL을 포함하지 않으면서 http나 www로 시작하는 링크를 모두 찾습니다. for link in bsObj.findAll("a", href=re.compile("^(http|www)((?!"+excludeUrl+").)*$")): if link.attrs['href'] is not None: if link.attrs['href'] not in externalLinks: externalLinks.append(link.attrs['href']) return externalLinks def splitAddress(address): addressParts = address.replace("http://", "").split("/") return addressParts def getRandomExternalLink(startingPage): html = urlopen(startingPage) bsObj = BeautifulSoup(html, "html.parser") externalLinks = getExternalLinks(bsObj, splitAddress(startingPage)[0]) if len(externalLinks) == 0: internalLinks = getInternalLinks(startingPage) return getNextExternalLink(internalLinks[random.randint(0, len(internalLinks)-1)]) else: return externalLinks[random.randint(0, len(externalLinks)-1)] def followExternalOnly(startingSite): externalLink = getRandomExternalLink("http://oreilly.com") print("Random external link is: "+externalLink) followExternalOnly(externalLink) followExternalOnly("http://oreilly.com") 위 프로그램은 http://oreilly.com 에서 시작해 외부 링크에서 외부 링크로 무작위로 이동합니다. 다음은 위 프로그램의 출력 결과 예제입니다. Random external link is: http://igniteshow.com/ Random external link is: http://feeds.feedburner.com/oreilly/news Random external link is: http://hire.jobvite.com/CompanyJobs/Careers.aspx?c=q319 Random external link is: http://makerfaire.com/ ... 웹사이트의 첫 번째 페이지에 항상 외부 링크가 있다는 보장은 없습니다. 여기서는 외부 링크를 찾기 위해 이전 크롤링 예제와 비슷한 방법, 즉 외부 링크를 찾을 때까지 웹사이트를 재귀적으로 파고드는 방법을 썼습니다. [그림 3-1]은 이러한 작업 내용을 시각화한 순서도입니다. 그림 3-1 인터넷 사이트를 탐색하는 스크립트 순서도 CAUTION_ 예제 프로그램을 실무에 쓰지 마십시오 공백과 가독성 때문에, 이 책에 있는 예제 프로그램에는 실무 코드라면 당연히 있어야 할 점검 내용과 예외 처리가 항상 들어 있지는 않습니다. 예를 들어 이 크롤러가 방문한 사이트에 외부 링크가 하나도 없다면(흔치 않지만, 크롤러를 오래 실행한다면 언젠가 반드시 일어납니다), 이 프로그램은 파이썬의 재귀 제한에 걸릴 때까지 계속 실행됩니다. 이 코드를 중요한 목적에 쓰기 전에 잠재적 함정을 처리할 수 있는 코드를 잊지 말고 넣으십시오. 작업을 ‘이 페이지에 있는 모든 외부 링크를 찾는다’ 같은 단순한 함수로 나누면, 나중에 코드를 다른 크롤링 작업에 쓸 수 있도록 리팩토링하기 쉽습니다. 예를 들어 사이트 전체에서 외부 링크를 검색하고 각 링크마다 메모를 남기고 싶다면 다음과 같은 함수를 추가하면 됩니다.(역자주_ 이 예제 코드 및 원서 깃허브에 있는 코드는 상대 경로를 제대로 처리하지 못해 http://oreilly.com 사이트에서 작동하지 않습니다. 이에 상대 경로를 처리할 수 있게 소스 코드 일부를 수정했습니다.) # 사이트에서 찾은 외부 URL을 모두 리스트로 수집 allExtLinks = set() allIntLinks = set() def getAllExternalLinks(siteUrl): html = urlopen(siteUrl) bsObj = BeautifulSoup(html, "html.parser") internalLinks = getInternalLinks(bsObj,splitAddress(domain)[0]) externalLinks = getExternalLinks(bsObj,splitAddress(domain)[0]) for link in externalLinks: if link not in allExtLinks: allExtLinks.add(link) print(link) for link in internalLinks: if link == "/": link = domain elif link[0:2] == "//": link = "http:" + link elif link[0:1] == "/": link = domain + link if link not in allIntLinks: print("About to get link: "+link) allIntLinks.add(link) getAllExternalLinks(link) domain = "http://oreilly.com" getAllExternalLinks(domain) 이 코드는 크게 루프 두 개로 생각할 수 있습니다. 하나는 내부 링크를 수집하고, 다른 하나는 외부 링크를 수집하면서 서로 연관되게 동작합니다. 순서도로 나타낸다면 [그림 3-2]와 비슷할 것입니다. 그림 3-2 웹사이트의 외부 링크를 모두 수집하는 크롤러의 순서도 실제 코드를 작성하기 전에 그 코드가 무슨 일을 하는지 다이어그램을 그려보거나 메모해보는 습관을 들이는 게 좋습니다. 크롤러가 복잡해지면 이런 습관이 시간을 매우 많이 절약해주고, 좌절하는 일도 훨씬 줄어들 겁니다. 리다이렉트 처리 리다이렉트를 사용하면 같은 웹 페이지를 다른 도메인 이름 아래에서 볼 수 있습니다. 리다이렉트는 크게 두 가지입니다. 서버 쪽 리다이렉트. 페이지를 불러오기 전에 URL이 바뀝니다. 클라이언트 쪽 리다이렉트. 이따금 페이지를 리다이렉트하기 전에 ‘You will be directed in 10 seconds...’ 같은 메시지가 나올 때도 있습니다. 이 섹션에서는 서버 쪽 리다이렉트를 다룹니다. 자바스크립트나 HTML을 사용하는 클라이언트 쪽 리다이렉트에 대해서는 10장을 보십시오. 서버 쪽 리다이렉트에 대해서는 보통 별로 신경 쓸 일이 없습니다. 파이썬 3.x에서 제공하는 urllib 라이브러리가 리다이렉트를 자동으로 처리해주니까요. 그저 이따금 크롤링하는 페이지 URL이 입력한 URL과 정확히 일치하지 않을 수 있다는 것만 기억하면 됩니다.
한선용