Stay Hungry Stay Foolish

Thickdata(빅데이터도 모르는 인간의 숨은 욕망) (백영재/테라코타) 2024/02/24, 1회독 Thick Data? 빅데이터를 공부하면서 느낀 점은 과연 결과에만 의존하여 판단하는 것이 옳은 것인가 하는 의문이었다. 딥러닝 모델이 요구하는 것은 전처리된 데이터와 몇가지 파라미터 뿐이고 우리는 모델로 부터 출력된 예측값을 얻게된다. 그 중간의 과정은 이해하기도 어려울 뿐더러 막상 뜯어내 보려면 엄청난 시간과 노력을 필요로 하는 작업이 되기 때문이다. 이른바 '블랙박스' 라는 별명은 결과 도출까지의 과정을 살펴보기 어려운 딥러닝의 특징으로부터 나왔다. 딥러닝 모델의 결과물은 대체로 만족스러운 편이긴 하지만 여전히 인간으로서는 결과만 받아보는 수동적인 태도가 옳은 것인가 하는 생각을 갖게 한다. 그럼에도 불구하고 빅데이터와 인공지능 모델은 우리 삶의 구석까지 자리잡고 아주 유용한 도구가 되어버렸다. 이렇게 좋은 기술이 있는데도 씩데이터는 도대체 무엇이며 왜 필요한 것일까.  Thick 과 Big의 차이 씩 데이터(Thick data) 는 Thick(두터운) 의 특징을 가지는 데이터를 말한다. 이는 마치 빅데이터(Big data) 의 거대한 데이터를 의미하는 Big과 별다른 점이 없어보인다. 하지만 Thick 은 보다 질(quality)에 집중한 데이터를 의미한다. 빅데이터의 가장 큰 맹점은 각기 다른 스케일을 가진 데이터들이 분석될 때 정규화(normalization) 또는 표준화( standardization)  과정을 거치며 원래의 데이터가 가지고 있던 고유의 특징이 유실되어 버린다는 점이다. 이러한 빅데이터의 특징은 많은 데이터를 통해 정확하고 신속한 정보를 획득할 수 있다는 점에서 강점을 가지지만, 깊이 있는 통찰을 얻는데에는 어려움이 있다. 빅데이터와 달리 씩데이터는 양적(정량적, quantitative) 측면보다는 질적(정석적, qualitative)인 측면에서 이점을 지닌다. 이는 씩 데이터를 수집하고 분석하는 과정이 인류학적 ...