빅데이터

2012년도 방송과기술 way to Eng 연재

 

 

1. Big Data 개념

 

지난 1월 『거대한 전환, 새로운 모델 형성』이라는 주제로 열린 세계경제포럼 (World Economic Forum)에서 Big Data가 올해의 키워드로 선정되었습니다.

Big Data는 일반적인 DB S/W로는 관리하기 어려운 정도의 큰 규모의 데이터로 수십 테라에서 페타, 엑사 바이트 정도의 대용량 데이터를 의미하며, 최근에는 대용량 데이터의 수집, 저장, 분석, 체계화를 위한 도구, 플랫폼, 분석기법 등을 포괄하는 용어로 변화하고 있습니다.

기존에는 Big Data라는 용어보다는 Data mining 이라는 포괄적 개념의 단어를 사용하였습니다.

* 테라 (10^12), 페타 (10^15), 엑사(10^18), 제타(10^21), 요타(10^21)

* Data mining : 통계 및 수학적 기술뿐만 아니라 패턴인식 기술등을 이용하여 데이터

저장소에 저장된 대용량의 데이터를 조사함으로써 의미 있는 새로운

상관관계, 패턴, 추세 등을 발견하는 과정. (가트너그룹. 2004.)

 

2. Big Data 기반기술

 

▶Big data는 단순히 많은 데이터를 분석하는 것이 아니라 시스템, 서비스 자체가 Big Data에 적응 능력이 있어야 한다. Big Data는 하나의 솔루션으로 해결할 수 없으며 요구사항, Data의 성격에 따라 다양한 솔루션으로 조합되어야 하며 지속적으로 진화시켜 나가야 하는 시스템입니다.

 

▶Big Data 기반기술

데이터 저장 : Hadoop file system (대용량 분산 파일시스템)

구조적 데이터 저장 : NoSQL-HBase, Cassandra, MongoDB

                               (대용량 분산 데이터 저장소)

배치 분산 병렬처리 : MapReduce, Pregel, GlodenOBR

데이터 스트리밍 프로세싱 : S4, Storm

데이터 마이닝 : Mahout

데이터 분석 알고리즘, 데이터 분석 기술

분산관리 (Zookeeper), 분산 큐 (Kafka), 분산 캐쉬 (Memcached, Redis)

기존 솔루션, BI/DW, RDBMS 등

 

3. Big Data 활용과 SNS (Social Network Service)

 

▶기존의 Web 환경에서 데이터는 특정기업이나 검색,포털 회사들이 독점을 하고 있어 일반기업들이 실질적으로 활용하기에는 많은 제약이 있었습니다.

▶그러나 참여와 소통의 Web 2.0 시대의 도래와 SNS의 활성화로 자유롭게 생성되는 대량의 데이터를 누구나 활용하고 분석하여 새로운 가치를 창출할 수 있습니다.

▶따라서 기업에서 “어떻게 Social Big data를 활용할 것인가”의 능력에 따라 경쟁사와의 우의를 점할 수 있고, 공공기관에서는 국민, 시민들의 의견과 여론을 형성하고 분석하여 정책에 반영하는데 유용하게 사용 될 수 있습니다.

▶결국, 방송사에서도 컨텐츠의 소비와 유통에 대한 다양한 데이터를 분석하여 소비자가 원하는 정책을 수립하고, 건전한 여론이 형성될 수 있도록 적극적인 참여유도와 비판을 겸허히 수용하는 자세를 취해야 할 것입니다.

▶마지막으로 Big Data는 개인정보에서부터 국가기밀까지 광범위한 데이터를 다루고 있어 정보유출과 개인의 사생활보호에 대한 정책적 대비와 사회적 합의 도출이 반드시 필요합니다.

 

참고문헌

- Big Data NET Term (한국인터넷진흥원 이응용 책임연구원)

- SNS가 연 Social Big Data (강학주의 e-Biz Story)