글

라벨이 csv인 게시물 표시

[R_bigdata] 웹 상의 데이터를 읽는 방법과 엑셀의 데이터를 읽을 수 없는 이유, 결측치

웹 상의 데이터를 읽는 방법과 엑셀의 데이터를 읽을 수 없는 이유 데이터의 형태에 따라 read.table, read.csv 를 이용하여 웹 의 절대경로를 통해 조회할 수 있다. 한편 엑셀의 데이터는 보안상의 이유로 위와 동일한 방식으로 읽는 것이 거의 불가하다. NA(결측치)의 여부를 탐색할 수 있는 메소드인 is.na() 를 통해 결측치값이 존재하는지 파악하고, NA를 대신할 값을 대입할 수 있다. #day03_03_file.R mem<- read.table('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/member_yes_sep2.txt',header=TRUE,sep=',') mem #read.csv는 read.table에서 sep=','와 header=TRUE 옵션이 기본인 함수이다. read.csv('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/member_yes_sep2.txt') fruits <- read.csv('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/fruits.csv') fruits fruits <- read.csv('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/fruits.csv', row.names = '순번' ) #기본 열이름 지정, 여기서 순번은 no에 해당된다. # fruits <- read.csv('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/fruits.csv',row.names = '남은수량'...

[R_bigdata] 다양한 형태의 파일 읽기

pdf와 csv 파일이나 테이블 형태의 비정형 데이터를 읽어들이는 방법이다. 또 데이터의 형식에 따라 변형하여 읽어오기도 하고, 데이터의 노이즈 등에 따라 부분적으로 읽어오는 방법이다. #day03_02_file.R ##기본 R이 지원하지 않는 확장자를 가진 파일 읽어오기 #pdf,xls 등이 가능하다. #doc,docx등은 pdf나 xls로 변환 후에 사용. #1.pdf로드하기 install.packages('pdftools') library(pdftools) pdf1<-pdf_text('C:/dev/movie_review_02.pdf') pdf1 #읽어온 데이터의 개행문자(줄바꿈) \r,\n #정제하기 pdf1 #strsplit(데이터,조건) : 특정 조건으로 데이터를 자르는 것 txt_pdf<-strsplit(pdf1,'\r\n') #strsplit 은 리스트로 결과가 도출 txt_pdf #실습 #txt_pdf에서 '비정형 데이터~' 만 조회해라 txt_pdf[[1]][2] txt_pdf2 <-txt_pdf[[1]] #3번째, 4번재 데이터를 합쳐서 6번째 방에 저장해주세요. txt_pdf[[1]][6] = paste0(txt_pdf[[1]][3],txt_pdf[[1]][4]) txt_pdf[[1]][6] #3번째, 4번재 데이터를 삭제하기 txt_pdf3<-txt_pdf2[c(-3,-4)] #'-' 를 붙이면 해당 인덱스의 값은 삭제된다. txt_pdf3 #데이터를 테이블 구조로 읽어들이기기 #단, 데이터가 테이블 구조로 되어 있어야 한다! 또한 정형이나 비정형 여부는 상관없다. #사용 예제(member_no_title.txt) mem1<-read.table('https://raw.githubusercontent.com/luxdolorosa/data_set/master/etc/mem...

[R_bigdata] 파일 데이터 읽어오고, 조건에 맞춰 조회하기

파일 데이터를 읽어오고 , 조건에 맞춰 검색하는 방법에 대해 알아본다. 파일 데이터는 웹 또는 저장장치의 경로를 통해 읽어오게 되는데, 여기서 절대적 경로와 상대적 경로의 개념을 확인하는 것이 중요하다. 조건에 맞춰 찾는 방법으로는 grep() 메서드를 활용하게 된다. grep을 통해 문자열 탐색, 문자 길이 탐색 등을 할 수 있다. #day03_01_file ##fruit 변수에 벡터를 만들어라라 fruits<-c('apple','mango','banana','Apple','pineapple') fruits #특정 조건 검색 #grep(찾을 조건, 대상) #fruit 벡터에 apple이라는 문자가 포함된  데이터가 존재하는지 검색 #대소문자를 구분하여 검색한다. grep('apple',fruits) # 1 5 를 리턴한다. 다만 여기서 5는 pineapple의 'apple'을 의미한다. #대소문자를 구분하지 않도록 옵션을 지정하기(ignore.case = TRUE) grep('apple',fruits,ignore.case = TRUE) # 1 4 5 리턴 #실습 #fruits 에서 a가 포함되는 데이터만 검색해보라 grep('a',fruits,ignore.case = TRUE) #위치가 아닌 데이터를 조회해라 a<-grep('a',fruits,ignore.case = TRUE) a fruits[a] fruits[grep('a',fruits,ignore.case = TRUE)] fruits[grep('a',fruits)] #시작과 끝값을 이용해서 검색하기 #a로 시작하는 조건 값 검색하기기 grep('^a',fruits,ignore.case = TRUE) #1 4 리턴 grep('^a',frui...