모글모글
[빅데이터를 지탱하는 기술] 1-1 빅데이터의 정착
빅데이터(Big Data)란 말 그대로 커다란 데이터를 말합니다. 기존의 데이터와 빅데이터는 서로 다를 것은 없지만, 처리해야하는 양에서 차이가 납니다. 빅데이터 처리 기술이 따로 필요하게 된 이유는 아무리 좋은 성능의 컴퓨터라도 오늘날의 데이터 증가 속도를 따라잡기 어려워졌기 때문입니다. 이러한 빅데이터 처리 기술이 여러 회사에 자리 잡을 수 있었던 건 '데이터 분산 처리'와 '클라우스 서비스'가 있었기 때문입니다.빅데이터 등장 이전빅데이터 기술이 등장하기 이전부터 대용량의 데이터를 다루는 기술이 필요로 했습니다. 전국의 제품 판매 데이터를 한 곳에 모아 통계 자료를 만드려고 한다면, 어지간한 컴퓨터로는 이를 저장하고 처리할 순 없습니다. 그래서 매우 큰 데이터를 관리하는 컴퓨터 시스템이 개발되었고, ..
도대체 텐서가 뭘까?
처음 딥러닝을 공부하고 텐서플로우를 배울 때 가장 먼저 든 생각은 "'텐서(Tensor)'가 뭐지?" 였다. '텐서플로우(Tensorflow)'라는 이름도 텐서의 연산 그래프를 계산하는 것에서 착안됐다는 이야기를 들었으니 자연스레 궁금해졌다. 하지만 검색해도 '벡터나 행렬같은 데이터를 하나로 아우르는 값'이라고만 설명하고, 수학적 정의는 이해하기가 어려웠다. 무엇보다도 텐서가 무엇인지 몰라도 텐서플로우를 쓰는데 문제가 없다는 것 때문에 나 또한 그렇게 받아들였다.하지만 문득 CS182 강의를 정리하다가 3차원 텐서와 4차원 텐서를 행렬곱하는 과정을 보자 사글아들었던 궁금증이 다시 돌아왔다. 그래도 이번엔 텐서 연산은 많이 써왔으니 암묵적으로라도 이해하지 않을까 싶었다.우리가 사용하는 데이터는 모두 텐서다..