[python]무신사 크롤링 하기 Crawling

 

먼저 url을 받는다

 

baseUrl = 'https://store.musinsa.com/app/product/search?search_type=1&q='

baseUrl1 = '&page='

plusUrl = input('검색할 옷을 입력하시오: ')

pageNum =1

url = baseUrl + quote_plus(plusUrl) + baseUrl1 + str(pageNum)

 

quote_plus는 특수문자나 다른 형식의 문자를 아스키 코드로 변환해주고 공백을 '+'로 변환한다. 참고로, quote()는 공백을 '%20'으로 변환한다.

이를 이제 from selenium import webdriver 을 이용해서 webdriver.Chrome()으로 열수가 있는것이다. 이게 무슨 말이냐면 selenium을 이용해서 페이지를 여는 것인데....전제 조건이 Chrome 드라이버가 설치가 되었있어야 한다. 그래서 Chrome() 에 괄호 안에 드라이버가 설치 되어 있는 주소를 넣어준다.

 필자는 드라이버의 저장 위치가 프로젝트 폴더에 바로 위치하기에 넣어줄 필요가 없었다.

 

    driver.get(url) #url으로 페이지를 불러온다

    time.sleep(3)  # 위에서 불러오고 몇초 기다린후에 분석을 시작

time을 사용하기 위해서는 import time이 필요하다.

 

분석을 할때에는 BeautifulSoup을 이용한다.

from bs4 import BeautifulSoup을 위에 선언해주고

 

    pageString = driver.page_source

    soup = BeautifulSoup(pageString, features="html.parser")

로 페이지를 파싱해준다. 이는 BeautifulSoup에서 제공해주는 기능이다.

 

 

그리고 여기까지는 모든 페이지를 파싱할때 동일 할 것이다. 여기서 부터 직접 페이지를 보면서 분석을 해야하는데...

 

위의 맨투맨 이미지들을 크롤링 하고 싶다. 

그러면 저 이미지가 어느 tag에 있는지를 찾고 또 거기 tag 안에서 각각 이미지 정보에 해당하는 하위 tag속의 attribute 값을 찾기만 하면 된다... 말은 쉽다..

 

1. 먼저 저 파란 테두리를 찾는다

   :저 파란 테두리는 하나만 가져오면 되니까     

result1 = soup.find(name = 'ul', attrs ={'class':'snap-article-list boxed-article-list article

                                                                    list center list goods_small_media8'})

로 가져온다. 그러면 result1에는 저 테두리에 해당하는 HTML 코드가 저장되는 것이다.

 

2. 파란 테두리속 초록 이미지 들을 가져오자!

    :result2 = result1.find_all(name ="img")을 사용하여서 각각의 img 태그를 저장하는데 이때 result2가 배열 형식으로 저장되게 된다.

 

3. 내가 가져오고 싶은 attribute 값을 찾자

    : 처음에 이미지 정보를 가져오기 위해서 src속성을 가져왓는데 그러니까 맨투맨 이미지 말고도 저기 밑에 하트표시 이미지 또한 가져와 버렸다... 그래서 옷 이미지 정보만을 표현하는 data-original 속성을 가져오는게 더 낫다고 판단하여서 아래 코드 대로 수행해 줬다...(이 속성 정보와 태그 이름 같은 것은 페이지 마다 다르니 각자 하기전에 분석해보세요)

 

    for i in result2:

        try:

            image = i.attrs['data-original']

            reallink.append(image)

        except:

            continue

 

을 이용해서 이미지 url을 각각 reallink에 넣는다. 

 

 

이제 가져온 url을 내 pc에 저장하기 위해서

 

urllib.request.urlretrieve(이미지 url , 저장하고싶은 pc 경로) 

 

 

 

 

코드

 

import urllib.request

from urllib.parse import quote_plus #아스키 코드로 변환해준다
from bs4 import BeautifulSoup
from selenium import webdriver
import time


#해당 페이지를 크롤링 i가 페이지번호
def musinsaCrawling(pageNum):
    baseUrl = 'https://store.musinsa.com/app/product/search?search_type=1&q='
    baseUrl1 = '&page='
    url = baseUrl + quote_plus(plusUrl) + baseUrl1 + str(pageNum)
    driver = webdriver.Chrome()
    driver.get(url)
    time.sleep(3)  # 위에서 불러오고 1초 기다린후에 분석을 시작

    pageString = driver.page_source
    soup = BeautifulSoup(pageString, features="html.parser")

    result1 = soup.find(name = 'ul', attrs ={'class':'snap-article-list boxed-article-list article-list center list goods_small_media8'})
    result2 = result1.find_all(name = "img")

    for i in result2:
        try:
            image = i.attrs['data-original']
            reallink.append(image)
        except:
            continue

    print(reallink)
    driver.close()


plusUrl = input('검색할 옷을 입력하시오: ')
reallink = []


baseUrl = 'https://store.musinsa.com/app/product/search?search_type=1&q='
baseUrl1 = '&page=1'
url = baseUrl + quote_plus(plusUrl) + baseUrl1
driver = webdriver.Chrome()
driver.get(url)

time.sleep(3) #위에서 불러오고 3초 기다린후에 분석을 시작


pageString = driver.page_source
soup = BeautifulSoup(pageString, features="html.parser")
pageNum = int((soup.find("span",{"class" : "totalPagingNum"})).text)
print(pageNum)
driver.close()



for i in range(1,pageNum+1):
    musinsaCrawling(i)


print(reallink)


if plusUrl == '스몰로고맨투맨':
    title = 'small logo sweatshir'
elif plusUrl == '빅로고맨투맨':
    title = 'big logo sweatshir'
elif plusUrl =='스트라이프맨투맨':
    title = 'stripe sweatshir'


print('title = ' + title)
n = 1
for i in range(0,len(reallink)):
    urllib.request.urlretrieve( "http:"+reallink[i],"C:\\Users\\PycharmProjects\\untitled7\\stripes sweat shirt\\" +title + "("+str(n)+")"+".jpg")
    n +=1