글

라벨이 anaconda인 게시물 표시

[Python_bigdata] 파이썬을 활용한 웹 크롤링

# Day05_04_crawling # !/usr/bin/env python # coding: utf-8   # 크롤링으로 원하는 데이터 수집 # python 에서 크롤링을 위해서 필요한 외부 패키지 import requests as req from bs4 import BeautifulSoup # 1. 대상사이트 target_url =' https://www.apache.org/' # 2. 대상 사이트에 통해 페이지 요청하기 response = req.get(target_url) # get 요청에 따른 response 200 이면 성공 # 3. 응답된 결과를 담은 response 변수에서 페이지의 내용보기 BeautifulSoup(response.text) # response.text 는 문자 자체라고 볼 수 있다 . BeautifulSoup 를 통해 html 과 같이 가져온다 . soup = BeautifulSoup(response.text,'html.parser')  #html.parser를 이용하여 html 형태로 출력가능 # 4. html 결과값에서 긁어올 부분 ( 가져올 부분 ) select 하기 categories = soup.select(' # by_category>ul>li>a') # ,> 를 통해 하위의 코드를 가져온다 . categories   # categories 를 반복문을 통해 순회한다 . for i in categories:     print(i.text) # <a 내부의 텍스트만 추출   categories2 = soup.select('.col-lg-6>ul>li>a') # ,> 를 통해 하위의 코드를 가져온다 . categories2 for i in categories2:     print(i.te...

[Python_bigdata] 파이썬 기본 문법 (연산, 반복문, 조건문, 배열, 리스트, 함수, 패키지)

# Day05_01_basic # !/usr/bin/env python # coding: utf-8   # day05_01_data_type   # 주석 print('hello ,world')   # 데이터 타입 # 숫자형 # 정수형 a =123 b=-123 print(a) print(b)   # 실수형 c=123.123 d=100.000 print(c) print(d) print(c-d) # 실수형은 정확하게 계산을 시킬 수 없는 영역이기 때문에 뒤에 0000001 이 붙는다 .   123.123 == 123.123   # 문자형을 만드는 법 print('') print("") a="""   가독성 좋게 하는 법     """ print(a)   # 파이썬은 문자형이 존재하지 않는다 . # 문자열만 존재한다 .   a='hello world' print(a) print(a[0]) print(a[6]) print(a[0:6]) print(a[:]) print(a[0:]) print(a[:7]) print(a[7:])   # 실습 w 를 W 로 변경 # 조합을 해서 변경 w='w' w=w.upper() print(a[:6]+'W'+a[7:]) print(a[:6]+w+a[7:])   a='hello' b='korea' print(a,b)   # LIST # 여러가지 데이터 형을 동시에 가지고 있는 구조 # 파이썬은 배열형이 존재하지 않는다 . # 만드는 방법 a=[1,2,3] a[1]   b=['a','b',...