빅데이터의 이해

안녕하세요

 

오늘은 빅데이터에 대해 알아보겠습니다.

 

데이터 하면 요즘에는 누구나 빅데이터(BigData)를 쉽게 떠올릴 수 있겠습니다.

 

말그대로 방대한 양의 데이터를 뜻하고 추가적으로 데이터베이스 소프트웨어 프로그램으로 저장, 관리, 분석의 범위를 초과하는 데이터를 이야기합니다.

 

오늘날 빅데이터에 대한 관심이 높아지고 있는 이유는 이러한 데이터를 분석하고 그 결과를 활용할 수 있을만큼

 

컴퓨터 성능과 기술력이 크게 발전했기 때문이 아닐까 생각이 됩니다.

 

예전에는 직감이나 오랜 경험, 노하우를 통해 본능적으로 일을 처리하였다면,

 

미래에는 철저하게 분석된 데이터를 통해 보다 정확하고 효율적인 업무 처리를 할 것입니다.

 

이 가운데 데이터 분석은 중요한 부분을 차지하게 됩니다. 

 

예전에 18세기 산업혁명에서 중요한 자원이었던 석탄과 철이 오늘날 4차 산업혁명 시대에서는 수많은 데이터로

 

대변될 수 있겠습니다.

 

즉 여러 비즈니스 사업을 위해서는 방대하고 적합한 정보를 신속하게 파악하는 것이 중요한데, 데이터라는 자원을

 

누가 적극적으로 활용하느냐에 따라 성패가 달려있는 것입니다.

 

빅데이터가 발전하게 되면서 데이터의 유형도 세분화 되었습니다.

 

정형데이터 : RDBMS의 고정된 필드에 저장되는 데이터로 데이터 스키마 지원, 여기서 스키마(Schema)란 데이터베이스에서 자료의 구조, 자료의 방법, 자료 간의 관계를 형식 언어로 정의한 구조를 말합니다. 종류로는 RDB, 스프레드 시트 등이 있습니다.

반정형 데이터 : 데이터 속성인 메타데이러를 가지며, 일반적으로 스토리지에 저장되는 데이터 파일을 뜻합니다. XML 형태의 데이터로 값과 형식이 다소 일관성이 떨어집니다. 데이터의 종류에는 HTML, XML, JSON, 웹문서 등이 있습니다.

비정형 데이터 : 언어 분석이 가능한 텍스트 데이터로 형태와 구조가 복잡한 이미지, 동영상 같은 멀티미디어 데이터를 뜻합니다. 소셜(SNS) 데이터, 문서, 이미지, 오디오, 비디오 등의 데이터 형태가 이에 속합니다.

 

 

이러한 빅데이터는 기업, 정부, 개인 등 각 경제 주체에 의해서 각 목적별로 사용됩니다.

정부의 경우 공공기관이 수집하는 공공데이터(추후에 별도로 다룰 예정)를 활용하여 민간 기업에서 활용할 수 있도록 가공하여 제공하고 있으며, 기업에서는 빅데이터를 기반으로 고객 분석 및 상품 홍보를 위한 마케팅 자료로 활용하고 있습니다. 개인 또한 구글이나 마이크로소프트의 온라인 플랫폼을 활용하여 인터넷 상의 수많은 데이터나 자신의 데이터를 손쉽게 저장 및 관리하면서, 즉 데이터베이스를 구축하는 것이 일상이 되었습니다. 

 

과거 농경 사회에서는 토지와 노동력이 주 생산원이었고, 18세기 산업혁명 이후 기계의 발달, 이후 인터넷 시대에는 지식 정보 탐색이 중요한 키워드였습니다.

 

4차 산업혁명 시대 이후 단순 정보를 탐색하는 것에 그치지 않고 데이터를 저장, 관리, 가공 그리고 활용할 수 있는 기술과 역량을 갖추는 것이 중요한 자원이 되었습니다.