Stay Hungry Stay Foolish

  CRISP-DM(Cross-Industry Standard Process for Data Mining) 데이터 분석 절차로 크게 6가지의 단계로 나눌 수 있다. Business Understanding 문제 이해 Data Understanding 데이터 분석 데이터 수집 웹 크롤링 등. Data Preparation 전처리 데이터 형태 및 타입 확인 데이터 분포 확인 결측치 제거 원핫인코딩, 표준화, 정규화 등 Modeling 모델링 머신러닝 딥러닝 언어지능 시각지능 등 Evaluation 평가 Deplayment 배치 웹 서비스 구축 MLOps

정렬(Sorting) 데이터를 특정 기준에 따라 순서대로 나열하는 것. 정렬 알고리즘 selection sort (선택정렬) 가장 작은것 탐색 ⇒ 자리 변경 ⇒ 반복 시간복잡도 N-1만큼 작은것 탐색, {N*(N+1)}/2 ⇒ O(N^2) insertion sort (삽입 정렬) 하나씩 ⇒ 적절한 위치에 삽입 무조건 자리를 바꾸는 선택정렬과의 차이 ⇒ 삽입정렬은 필요시에만 자리 변경 발생 시간복잡도 반복문 2번 사용 O(N^2), 단 최선(완벽하게 정렬된)의 경우 O(N) quick sort (퀵 정렬) 기준이 되는 요소(pivot)지정, 한쪽 끝 ⇒ 한쪽은 pivot보다 작은것, 다른쪽은 pivot보다 큰 것⇒ 큰 것 ↔ 작은 것 자리 교환 ⇒ 반복 ⇒ 큰 것 탐색과 작은 것 탐색 간 교차 발생 시 ⇒ 작은 것 ↔ pivot 간 자리 교환(분할, partition 발생) → 파티션 기준 데이터 분할 발생 ⇒ pivot 다시 선정 ⇒ 반복 ⇒ 분할된 리스트의 요소가 1이거나 비는 경우 ⇒ 종료 시간복잡도 평균 O(NlogN) 단, 최악의 경우 O(N^2). 데이터가 이미 정렬되어 있는 경우다. <code1> array = [ 5 , 7 , 9 , 0 , 3 , 1 , 6 , 2 , 4 , 8 ] def quick_sort ( array , start , end ): if start >= end : return pivot = start print ( 'pivot element is ' , pivot , end = ':' ) left = start + 1 right = end while left <= right : while left <= end and array [ left ] <= array [ pivot ]: ...

Thickdata(빅데이터도 모르는 인간의 숨은 욕망) (백영재/테라코타) 2024/02/24, 1회독 Thick Data? 빅데이터를 공부하면서 느낀 점은 과연 결과에만 의존하여 판단하는 것이 옳은 것인가 하는 의문이었다. 딥러닝 모델이 요구하는 것은 전처리된 데이터와 몇가지 파라미터 뿐이고 우리는 모델로 부터 출력된 예측값을 얻게된다. 그 중간의 과정은 이해하기도 어려울 뿐더러 막상 뜯어내 보려면 엄청난 시간과 노력을 필요로 하는 작업이 되기 때문이다. 이른바 '블랙박스' 라는 별명은 결과 도출까지의 과정을 살펴보기 어려운 딥러닝의 특징으로부터 나왔다. 딥러닝 모델의 결과물은 대체로 만족스러운 편이긴 하지만 여전히 인간으로서는 결과만 받아보는 수동적인 태도가 옳은 것인가 하는 생각을 갖게 한다. 그럼에도 불구하고 빅데이터와 인공지능 모델은 우리 삶의 구석까지 자리잡고 아주 유용한 도구가 되어버렸다. 이렇게 좋은 기술이 있는데도 씩데이터는 도대체 무엇이며 왜 필요한 것일까.  Thick 과 Big의 차이 씩 데이터(Thick data) 는 Thick(두터운) 의 특징을 가지는 데이터를 말한다. 이는 마치 빅데이터(Big data) 의 거대한 데이터를 의미하는 Big과 별다른 점이 없어보인다. 하지만 Thick 은 보다 질(quality)에 집중한 데이터를 의미한다. 빅데이터의 가장 큰 맹점은 각기 다른 스케일을 가진 데이터들이 분석될 때 정규화(normalization) 또는 표준화( standardization)  과정을 거치며 원래의 데이터가 가지고 있던 고유의 특징이 유실되어 버린다는 점이다. 이러한 빅데이터의 특징은 많은 데이터를 통해 정확하고 신속한 정보를 획득할 수 있다는 점에서 강점을 가지지만, 깊이 있는 통찰을 얻는데에는 어려움이 있다. 빅데이터와 달리 씩데이터는 양적(정량적, quantitative) 측면보다는 질적(정석적, qualitative)인 측면에서 이점을 지닌다. 이는 씩 데이터를 수집하고 분석하는 과정이 인류학적 ...

[정리] ThickData, 빅데이터도 모르는 인간의 숨은 욕망 (백영재/테라코타)  1회독 (2024-02-24) Part 1. 소비자를 이해하는 정교한 렌즈, 인류학 인류학 ⇒ anthropology : anthropos(인류/인간) + logos (지식) 인류학 접근 법 문화 상대주의 : 문화에 우열 X, 자문화 중심평가 X, 환경/역사적/사회적 상황/가치관 기반 이해 우리 기업의 관점 X , 고객의 입장에서 문제 파악 및 솔루션 발견 총체적 접근 : 현실을 통합된 전체로 보고 살핌. 다양한 요소, 관계, 맥락(context) 내에서 파악 참여관찰 : 현지 조사(field work) , 현장으로 들어가 참여, 관찰 인류학 + 비즈니스 조합은 강력함. 문화상대주의 맥락, 구성원의 가치관, 환경 이해 ↔ 자문화 중심주의 비즈니스의 관점 ex) 보험 상품, 보험상품판매⇒ 컨설팅식 세일즈로의 전환 소비자의 관점, 욕구 파악 총체적 접근 참여관찰 Part 2. ThickData Bigdata vs. Thickdata ex) Nokia vs iPhone 의 사례 “What is measurable isn’t the same as waht is valuable” ‘트리시아 왕’ ⇒ 인문학적 이해를 바탕으로 한 새로운 종류의 데이터 주창 : “ThickData” 인류학자 ‘클리퍼드 기어츠’ 의 thick description( 의미, 맥락 부여된 것 ) ↔ thin description Big ddata 정량적, 패턴 위해 차원감소 ⇒ 해상도 감소 Thick data 정규화, 표준화에서 유실되는 맥락, 의미, 경험 등을 복원하는 유용한 장치가 될 수 있음. big data(정량적, 차원감소) vs. thick data(정성적, 복잡성, but 확장성 감소) 스토리에 집중, 샘플 사이즈 상관없음, 해석 및 인사이트의 깊이에 집중 ⇒ 객관성 확보 방법 ex) 넷플릭...