왕초보! 파이썬 배워 크롤러 DIY 하다!

괜찮다고 말하지만 괜찮지 않은 너와 나, 우리가 안고 사는 우울. 그리고 그 감정이 가져온 마음의 병 우울증. 화제의 채널



독자님~~

인터넷으로 어떤 물건 살 때 먼저 구매하신 분들의 리뷰 보시죠?

영화나 연극 볼때도 먼저 보신 분들의 평가를 참고 하시죠?



위의 예에서 나온 구매 후기나 리뷰들을 비정형 데이터라고 하는데 비정형 데이터에는 아주 중요한 정보가 많이 있기 때문에 많은 기업이나 사람들이 비정형 데이터를 분석해서 가치를 찾고 있습니다.



그런데 비정형 데이터는 양이 너무 많아서 수집하기가 너무 어렵습니다.

일일이 손으로 복사한 후 붙여 넣기 하는 것도 한계가 있겠죠?

그래서 많은 양의 비정형 데이터를 수집해야 할 경우 데이터를 수집하는 작업을 자동으로 해 주는 크롤러(crawler) 라는 프로그램을 사용하는데 문제는 크롤러 프로그램이 저렴한 것은 수백 만원에서 비싼 것은 수 억원 까지 합니다.



이 책이 태어난 이유는 논문을 쓴다던지 고객 반응을 파악해야 하는 등의 비정형 데이터를 처리해야 하시는 분들에게 반드시 필요한 크롤러 라는 프로그램을 파이썬 언어를 사용해서 직접 DIY 할 수 있는 기술을 전해드리기 위해서입니다.



파이썬 언어를 전혀 사용해 본적이 없는 독자님들도 계시겠죠?

그래서 이 책은 파이썬 언어 기초부터 쉽게 출발을 합니다.

그리고 HTML 기초도 알려 드리고 Beautiful Soup 도 알려드린 후에 Naver , Daum , Facebook 등의 사이트의 Open API 를 이용한 크롤러를 만드는 방법을 한 줄 한 줄 코드를 설명하면서 DIY 할 수 있도록 전해 드립니다. 그리고 Open API 를 제공하지 않는 수많은 사이트들을 대상으로 크롤링 하는 크롤러를 만드는 방법을 캡쳐 화면과 함께 자세한 원리를 설명하면서 전해 드립니다.



또한 프로그래밍의 가장 중요한 알고리즘에 대해서도 파이썬 언어를 활용해서 다양한 예제로 배울 수 있도록 설명하고 있습니다.

이 책을 다 보신 후에는 수억원의 가치를 직접 만드시게 될 것입니다



출판사 서평 (리뷰)



안녕하세요! 독자님.

이 책의 공동 저자인 서진수입니다.

빅데이터 분석 일을 오래 하면서 정말 절실하게 느꼈던 어려움이 데이터를 수집하는 것이었습니다.

특히 게시판이나 리뷰 같은 거 모아야 할 때면 밤새 컴퓨터 앞에서 복사+붙여넣기를 해서 수천, 수만 건의 데이터를 모은 적도 아주 많지요.

정말 헤아릴 수 없는 수많은 밤을 눈물과 짜증과 함께 보낸 아픈 추억이 많습니다.



바로 그래서 이 책을 기획하고 쓰게 되었습니다.

지금 이 순간에도 비정형 데이터를 모으기 위해 제가 했던 어려움들을 똑같이 겪고 계신 분들이 분명 있을 거라고 생각합니다. 그 분들께 조금이라도 힘이 되기 위해서 파이썬과 크롤러를 만드는 기술을 전해 드리고 싶었습니다.

사실 크롤러라는 프로그램은 상용버전이 수백 만원에서 수억까지 하는 아주 비싼 프로그램입니다.

그리고 특히 소셜 데이터 분석이나 비정형 데이터 분석을 하는 회사들의 큰 노하우가 바로 크롤링이지요. 이 책 한 권으로 시중에서 사용되는 모든 크롤링 기법을 다 전한다는 것은 사기이겠지만 웹 페이지 데이터를 크롤링하는 원리는 정말 잘 설명을 하고 있으니 이 책 열공하시면 파이썬 기초와 크롤러 제작이라는 두 마리 토끼를 다 잡게 되실 거예요.

정말 열심히 공부해서 많은 것을 배워 가시기를 응원하겠습니다.