data engineering

    [빅데이터를 지탱하는 기술] 1-1 빅데이터의 정착

    빅데이터(Big Data)란 말 그대로 커다란 데이터를 말합니다. 기존의 데이터와 빅데이터는 서로 다를 것은 없지만, 처리해야하는 양에서 차이가 납니다. 빅데이터 처리 기술이 따로 필요하게 된 이유는 아무리 좋은 성능의 컴퓨터라도 오늘날의 데이터 증가 속도를 따라잡기 어려워졌기 때문입니다. 이러한 빅데이터 처리 기술이 여러 회사에 자리 잡을 수 있었던 건 '데이터 분산 처리'와 '클라우스 서비스'가 있었기 때문입니다.빅데이터 등장 이전빅데이터 기술이 등장하기 이전부터 대용량의 데이터를 다루는 기술이 필요로 했습니다. 전국의 제품 판매 데이터를 한 곳에 모아 통계 자료를 만드려고 한다면, 어지간한 컴퓨터로는 이를 저장하고 처리할 순 없습니다. 그래서 매우 큰 데이터를 관리하는 컴퓨터 시스템이 개발되었고, ..