"우리 큰 형님인 빅브라더스는 들어봤어도, 빅데이터는 못들어봤다"
IT나 컴퓨터 쪽에 관심이 없으신 분들이라면, '빅데이터'라는 단어는 생소하고 부담이 될만한 단어입니다. 하지만 여러분께서는 대부분 아이폰의 'I-cloud' 라던지 올레KT의 'U-cloud' 등을 들어보셨을 거예요.
먼저 'Cloud'에 대한 사전적인 정의를 살펴볼까요?
사진출처: 뉴시스, 아크로팬
아이클라우드, 유클라우드
예를 들어 설명해드리겠습니다.
하늘에 떠있는 구름 한 점이 있습니다. 그 구름에 'A'라는 사람이 'UCC동영상'을 포함한 전파를 보냅니다. 그러면 그 구름은 전파를 받겠죠? 그리고 'B'라는 사람은 '학술자료' 전파를 구름으로 보냅니다. 이렇게 여러사람이 그 구름에 전파를 쏘게되면, 구름 안에는 여러 정보들로 가득가득!
그러면 구름은 받아서 저장하는 기능만 하는 것이냐? 절대 아니죠! 구름이 머금고 있는 정보들은 또다시 'A, B'등의 모든 사람들이 공유하고 이용할 수 있는 거예요.
즉 'A'는 'B'의 '학술자료'를 볼 수 있는 것이고, 반대로 'B'는 'A'의 'UCC동영상'을 볼 수 있게 되는 것이죠. 이것이 2명이 아니라 수천만, 수억명의 사람들에게 공유된다면, 그야말로 세계는 하나의 클라우드촌이 형성되는 것입니다.
세계 어디에서나, 그리고 누구든지, 또 어떠한 자료든지, 와이파이(Wi-fi)존에 있다면 다 사용가능하다는 사실! 더 나아가 클라우드는 컴퓨터에 C-드라이브처럼 딱! 정해진 데이터가 아니라, 가상의 서버를 형성함으로써 형태가 정해지지 않는 거대 서버를 만들게 됩니다.
예를 들어, 'Utorrent'같은 파일 공유 프로그램과 비슷한 것이라고 생각하시면 되요. 그러면 클라우드로 잘 살고 있는데, 왜 '빅데이터'라는 이상한 단어를 끌고와서 우리를 혼란스럽게 하느냐구요? 저도 그게 불만이긴 합니다만, SNS의 기반시설인 만큼 우리도 알아야겠죠?
그러면 '빅데이터'에 대해 조금 들여다 보죠!
자료출처: TV조선, SAS
빅데이터 정의 그래프,빅데이터 사람그래프
클라우드에 이어 우리를 두 번씩이나 좌절하게 만드는 용어입니다. 무엇인가 이해가 된 것 같으면서도 찜찜한 이 단어를 이제 딱! 정해드리겠습니다잉~!
'빅데이터'는 말그대로 '큰 자료'입니다. 그냥 큰 것이 아니라 어마어마하게 커서 현재 기술로는 처리조차 힘든 무시무시한 놈이죠.
여러분의 이해를 돕기위해 친숙한 예를 들어 볼게요.
세계 최대의 인터넷 쇼핑몰 '아마존'이나 여러분이 매일같이 사용하시는 '페이스북'은 '빅데이터'와 가장 흡사한 유형입니다.
자료출처: 베타뉴스, 야후
페이스북, 아마존, 야후
수억명의 이용자를 보유하고 있는 아마존과 페이스북은 하루에 어마어마한 양의 개인속성정보를 얻게 됩니다. 즉 이용자들의 개인정보는 물론이고, 개인들이 검색하거나 구매했던 유형의 정보를 수집하는 거죠. 그렇게 기반을 갖춘 데이터가 하루가 지날 때마다 수십억개가 쌓이게 되고, 이것들은 통계화되어 사용자들에게 추천 상품으로 팝업되는 것입니다.
그런데 아주 놀라운 사실은 이 추천 상품들이 대부분 이용자들에게 95% 만족을 준다는 것이죠. 즉 개인정보와 개인들이 검색,구매했던 정보가 '빅데이터'에 일부분이라는 것입니다.
'G-마켓'같은 인터넷 쇼핑몰에서 오늘은 패딩, 내일은 도서, 그 다음날은 바지를 고른다고 생각해볼까요? 여러분이 선택한 데이터가 축적되면서, 그 양이 실로 거대해지고 이 축적된 데이터를 '빅데이터'라고 하는 겁니다.
'빅데이터 분석 기술'이 있는 사이트에서는 이 '빅데이터'를 가지고 사업적 측면에서 사용하는 것입니다. 즉 여러분이 검색하고 구매한 정보에 따라 개인 입맛에 딱! 맞는 상품들을 추천해 주는 것이죠!
사실 '빅데이터'는 현재 기술과 포맷으로 처리와 분석이 거의 불가능해요.너무 몸집이 커서 기존 포맷을 가지고 있는 슈퍼컴퓨터도 쩔쩔 매는 정도니까요. 그 중 페이스북, 아마존, 야후 등이 기존에 '빅데이터'체제를 이용하고 있었기 때문에, 조금의 성과를 보인 것 뿐입니다.
현재의 상태를 딱 한 문장으로 만들어보면, "A라는 틀에 B라는 꼴을 맞추어 넣으려는 것과 같다."
그렇기 때문에 '빅데이터'를 이용하기 위해서라도, 기업들은 A라는 틀을 B라는 틀로 바꾸려고 안간힘을 쓰고 있는 거예요!
● '빅데이터'의 중요성 - 기업적 측면
자료출처: SAS
빅데이터 보고서 첫 장, 프레임워크
2011년 11월에 SAS가 발표한 보고서에 따르면, 기업들에게 가장 시급한 문제는 이 '빅데이터'를 선점할 수 있는 기술을 개발하는 것입니다. 앞서 말씀드렸듯이 현재의 처리포맷으로는 빅데이터 자체를 다룰 수가 없기 때문에, 현재까지 '빅데이터'는 블루오션입니다.
근데 왜 기업들이 '빅데이터'를 잡아야 하는 것인가? 단순 블루오션이기 때문에 그런 것인가? 물론 기업들은 블루오션에 조금이라도 먼저 뛰어들어 선두에 서기를 원하는 측면도 있습니다. 하지만 '빅데이터'선점은 기업 측에 기하급수적인 이익을 안겨줄 수 있습니다. 즉 비즈니스적인 측면에서 소비자를 더욱 우수하고 신속하며 정확하게 파악할 수 있기 때문이죠.
그저 우리가 흔히 말하는 'Data'가 아니라는 것입니다. 요즘같은 속도가 생명인 시대에 SNS가 들어서면서 그 속도는 이미 사람이 잡을 수 없을 정도로 빨라 졌습니다. 하지만 데이터만 발전했고 데이터처리방식은 발전되지 않아서 문제가 생기고 있는 것입니다. 기업들은 기하급수적인 자금을 투여하여 프로그램 형성에 목을 매고 있을 정도로 시급한 목표죠.
기업들이 '빅데이터'에 목을 매는 가장 중요한 이유는 바로 '고객 파악'이라는 것입니다. 기존의 DW(데이터 웨어하우스)는 형태가 정형화되어 생각치 못한 처리변수를 만나게되면 컴퓨터 처리과정자체가 받아들이지 못하게 됩니다. 즉 한국포맷을 가지고 있는 컴퓨터는 한국사람의 취향과 문화에 대해 통달했지만, 정작 중국사람이 자신의 취향을 밀고 들어왔을 때는 대응할 수가 없다는 것입니다. 이게 왜그리 중요하냐구요?
요즘 기업의 추세는 다국적 기업 지향입니다. 자국에서 모든 물품을 팔 수 있다면 모르겠지만, 현실적으로 그것은 불가능하기 때문에 외국손님도 아주 중요합니다. 즉 기존의 DW를 가지고는 정형화된 패턴에만 대응할 수 있기 때문에, 세계에 있는 60억의 인구를 놓칠 수 있게 된다는 것입니다. 한마디로 한국인에 대한 데이터 수집은 가능한데, 외국인에 대한 데이터 수집이 불가능하게 된다는 거예요.
'실시간' 대응이라는 것이 현재 DW체제에서는 불가능 하기 때문이죠! 그래서 기업들은 현재의 데이터베이스가 정형화된 틀을 깨고 비정형화된 형태로 변화시켜 어떤 상황에서든 실시간 대응을 가능케 만들고자 합니다.
또한 실시간 대응을 신속히 이루어내는 것 뿐만 아니라, 그러한 정보를 신속히 처리하고 반환도 수행할 수 있어야 하기 때문에 간단히 처리할 수 있는 문제가 아니죠. 이와 같은 '빅데이터'를 처리할 포맷이 형성된다면, 그 기업에게는 기하급수적인 이익을 낼 수 있는 시장이 열리게 되는 것입니다.
그래서 기업들은 상상을 초월하는 액수를 투자하고도 전혀 아까워하지 않는 것이고요.
● '빅데이터'의 중요성 - 민간적 측면
기업들의 이야기를 들었으니 이제는 우리의 이야기를 들어야겠죠? 기업들은 우리를 조금이라도 더 파악하기 위해서 치밀한 연구와 피나는 노력을 하고 있습니다. 당연히 우리는 기업들이 만들어 낸 프로그램을 아주 유용하게 써먹어야 잘 사용했다고 소문이 나겠죠? 소비자에게는 '빅데이터'가 증요하지 않아요.
우리에게는 빅데이터 '분석 정보'가 필요한 것이죠! 몇 년후에 빅데이터를 감당할만한 프로그램이 자리를 잡아가기 시작하면, 사람들은 내가 찾고 싶은 물건을 굳이 찾지 않더라도, 이미 창에 떠있는 추천상품들을 보고 쇼핑을 할 것입니다. 그러면 우리에게는 무엇이 남을까요? 당연히 예전보다 훨씬 빨라진 쇼핑으로 시간을 줄일 수 있습니다.
또한 더 좋은 상품을 추천해주기때문에, 현재보다는 더 좋은 물품을 만날 수 있습니다. 하지만 개인속성정보를 기업에게 주고 우리가 받는 것은 너무나도 적습니다. '빅데이터'는 기업에게만 중요한 것이 아닙니다. 물론 현재까지 공급자들에게만 '발등 위에 떨어진 불'과 같겠지만, 몇 년후면 '빅데이터'를 얼마나 잘 사용하느냐에 따라 소비자의 격이 바뀌게 됩니다. 즉 기업은 프로그램 형성과 적용에 무게가 주어지고, 민간적 차원에서는 빅데이터를 어떻게 사용하느냐에 무게가 실리게 되는 것이죠.
소비자들이 '빅데이터'에 끌려다니기 시작하면, 순식간에 모든 것을 다 공개해야하는 처지에 이르게 됩니다. 그렇게 되면 자신에 대한 모든 정보들이 기업과 타소비자에게만 이익이 되고 자신에게는 그저 필요악의 존재로 전락하게 되는 것이죠. 그러므로 소비자의 '적절한 선택'이 매우 중요하게 되는 것입니다. 그러나 '빅데이터'가 마냥 좋은 것은 아닙니다.
● '빅데이터'에 대한 우려점
자료출처: 부산일보
판옵티콘 1.2
빅데이터는 최근 들어서 대두된 화제어이지만, 예전부터 이런 형태로 사이트를 운영하는 기업들은 존재해왔습니다. 그래서 현재 몇몇 기업들은 타기업들보다 우월한 위치에 있고 풍부한 개인들의 정보를 가지고 있죠. 하지만 여기서 문제가 발생합니다. 여러분도 느끼셨나요? 기업이 개인정보를 뛰어넘어 고객들을 너무 잘 알게된다는 점입니다. 즉 사생활정보는 물론이고 자신의 취향과 성격마저 노출이 되기 시작하는 것이죠. 요즘 잦은 해킹으로 위험에 대한 체감도가 낮아졌을지 모르지만, 이것은 지금껏 겪었던 모든 해킹보다 가장 두려운 존재로 급부상하게 됩니다.
예를 들어 볼까요? 먼저 현재의 상황을 보게되면, 개인정보유출이 심각한 상태에 있습니다. 자신도 모르는 사이에 실명과 주민등록번호, 그리고 집주소 등과 같이 기본적인 정보는 물론이고 심지어 사진까지도 유출이되어 심각한 사건을 발생시키기도 합니다.
그러나 빅데이터 시대가 도래하면, 상상을 초월하는 사생활 침해가 심각히 우려됩니다. 기업들은 모든 개인의 기본정보 뿐만 아니라, 고객의 성격과 취향에 대한 정보들도 가지게 됩니다.
만약 이러한 정보들이 기업 간에 거래된다면, 고객의 취향과 딱 맞는 상품만을 내놓기 때문에 충동적인 구매가 시작될 것입니다.
즉 자신이 생각하고 있던 상품들만이 창에 뜨기 시작하고 그걸 보는 소비자들은 달콤한 말에 현혹되어 상품을 구매하게 됩니다. 그것이 보험 상품이든, 주식 상품이든 말이죠.
자료출처: 아시아경제, 지디넷코리아
보이스피싱, 해커
그러나 더 큰 문제는 해킹의 위험성입니다. 외국 해커들이 국내 서버에 잠입하여 모든 정보를 가져가게 되면, 기하급수적인 피해를 안기게 됩니다. 다시 말해 요즘과 같이 무작위로 보이스피싱을 하는 것이 아니라 개인마다 적합한 취향을 적용한 사기가 판을 칠 것이라는 겁니다. 이것은 사생활 침해는 물론이거니와, 나 자신을 보호할 수 없는 형태로 변질되어가기 시작합니다. 현대판 판옵티콘이 최첨단 판옵티콘으로 그 모습을 바꿀 위험성이 커지는 것이죠.
이렇게 나아간다면, 개인들은 나보다 나를 더 잘 아는 '그들'에게 공포감을 느끼고 패배감과 열등감 그리고 인간소외와 같은 증상을 만성으로 달고 다닐 것입니다.
● '빅데이터'의 현재 단계와 경쟁구도
자료출처: sas,오라클, IBM
sas,오라클, IBM
빅데이터 시대를 준비하며 가장 각광받고 있는 프로그램은 'Hadoop'이라는 시스템입니다. 이미 페이스북이나 아마존과 같은 기업에서 사용하고 있던 프로그램이죠. 즉 많은 시스템 중 조금이나마 발전이 되어있는 시스템베이스를 가지고 모든 기업들이 연구에 나선 것입니다.
그러나 아직까지는 시장에서 그렇다할 반응들이 나오지 않고 있죠. 왜냐구요? 말그대로 발전된 것도, 발견된 것도 미미하기 때문이에요. 그러면 당연히 선두를 잡으려는 치열한 구조가 형성되겠죠?
이미 IBM은 분석기술 기업들을 매수하여 그 몸집을 늘려나가고 있습니다. 2007년 코그너스 인수를 시작으로 SPSS와 오픈페이지를 흡수했으며, 지난해는 알고드리믹스와 i2를 인수했습니다. 현재는 Hadoop을 기반으로 하는 클라우드 서비스를 내놓기도 했죠. 이에 SAS는 "IBM이 분석에 대한 기업들을 인수하는 것이 진정 고객에게 도움이 되는지 모르겠다"며 비판을 했고, "고급분석 솔루션은 데이터에 대한 이해 뿐 아니라 IT에 대해서도 깊은 이해가 있어야한다. 수십년 동안 이 분야에서 SAS가 쌓아온 경험은 IBM이 결코 따라 올 수 없을 것" 이라며 견제를 하기도 했습니다.
또한 오라클도 "'엑사리틱스'라는 BI 어플라이언스를 출시하여 시장공략에 나서겠다."라고 밝혔습니다. 이와 같이, 현재 시장은 눈치와 견제로 혼란의 중심에 서있습니다. 기존 체제 중 가장 양호한 Hadoop을 누가 더 발전시키느냐, 아니면 누가 새롭고 혁신적인 분석구조를 만들어 내느냐에 따라 IT업계에는 큰 줄타기가 형성될 것입니다.
이러한 상황에서 한국 기업들은 또다시 과거'스마트폰'도입 때와 같이 뒤쳐지면 안되겠죠?
● '빅데이터'의 미래
자료출처: 뉴시스, sas
맑음, 블루오션, 빙산일각, 빅데이터 과거&미래
빅데이터는 현재까지 덩치값을 하지 못하고 있습니다. 그것은 빙산의 일각처럼 그 본체의 99%는 아직 베일에 쌓여 있다는 것입니다. 하지만 모든 전문가들과 기업들은 '빅데이터에 대해 의견을 같이 하고 있어요.
"2012년엔 빅데이터가 IT분야 최고의 화제일 것이며, 2012년을 주름잡을 것이다."
빅데이터가 인간의 뇌를 닮아갈 것이라는 바이오공학적인 이야기도 나오고 있습니다. 하지만 빅데이터 시대가 도래한다고 해서 이 프로그램이 완벽하다는 것은 아닙니다. 빅데이터의 최대 난관인 '선택'의 문제가 남아있기 때문이죠.
즉 빅데이터라 하더라도 인간이 이상적으로 생각하는 모든 기능을 다 갖출 수는 없어요. 그러므로 더 중요한 것을 포함시켜 발전시키고 덜 중요한 것은 포기하는 그런 자세가 필요하게 된 것이죠.
하지만 이러한 난관들에도 불구하고, 빅데이터의 미래는 매우 밝습니다. 이러한 거대 블루오션이 세상으로 풀리는 날에 세계는 상상을 뛰어넘는 수준에 있을 것입니다. 완전한 프로그램은 아니지만 현존하는 것 중에서 최고를 자랑하는 빅데이터에 대한 공략은 밝은 미래와 블루오션의 시작이게 된거죠.
정리하자면, 빅데이터는 현재 '페이스북'과 같은 SNS체제에서 가장 중요한 기반시스템입니다. 하지만 빅데이터가 SNS에만 적용되는 것은 아니라는 사실!
여러분이 대세에 따라 사용하고 계시는 SNS에 숨겨진 비밀, 빅데이터. 이제는 컴퓨터와 실시간으로 그리고 역동적으로 대화할 수 있는 시기가 점차 다가오고 있는 만큼, 우리도 철저한 준비와 경계를 늦추면 안되겠죠? 우리의 소중한 정보는 우리가 지키는 것! 잊지 않으셨죠?
두루누리 기자 - 이성수
'시사정보 큐레이션 > ICT·녹색·BT·NT外' 카테고리의 다른 글
| [스크랩] 종이책의 동생, 전자책의 성장 일기 `전자책의 충격` (0) | 2012.01.16 |
|---|---|
| 20% 싼 스마트폰 헬로모바일…"잘 나가네 (0) | 2012.01.16 |
| MVNO, 전용 스마트폰 확보에 사활 (0) | 2012.01.14 |
| [스크랩] 음성통화의 소멸과 그 이후의 통신미래 (0) | 2012.01.14 |
| [스크랩] 스마트폰, 아들은 음악! 아빠는 알람? (0) | 2012.01.14 |