사 물인터넷(IoT)의 성장과 함께 다양한 디바이스에서 생성된 데이터가 급증하면서 이러한 데이터의 가치도 새롭게 주목 받고 있다. 이를 통해 혁신적인 마케팅 서비스부터 획기적인 환자 치료까지 새로운 서비스를 창출할 수 있는 비즈니스 기회가 되고 있기 때문이다. 데이터의 가치의 발굴을 위해서는 무엇보다 수많은 디바이스에서 쏟아내는 대량의 데이터를 담아 분석하는 작업이 우선돼야 한다. <딜라이트닷넷>은 창간 5주년 특별기획으로 사물인터넷 시대의 빅데이터 분석 전략에 대해 살펴본다.

<글 싣는순>
①IoT와 만난 빅데이터, 비즈니스 가치 극대화
②센서데이터 분석에 적합한 아키텍처는?…주도권 누가 쥘까
③자동차부터 도시생활까지…우리의 삶을 바꾸는 IoT·빅데이터

사용자 삽입 이미지
지난 2010년 캠리 차량의 대량 리콜 사태 당시, 토요타는 기존 데이터웨어하우스(DW) 시스템을 통해서는 정확한 제품 결함의 원인을 밝혀낼 수 없자 기존의 분석방법을 뛰어넘는 새로운 분석을 시도했다.

토요다는 자체적으로 해당 분기에 클레임이 전년대비 40%나 증가한 원인과 이 시기 캠리 차량을 소유한 사람들의 불만 및 업계 전문가의 의견을 종합적으로 검토하고자 했다.

이를 위해 토요타는 자체적으로 보유하고 있는 차량의 생산데이터와 고객데이터, 클레임 데이터, 협력사 및 2차 업체 등의 차량 부품 업체의 차량 부품 관련 데이터, 캠리 차량 소유자 및 차량 업계 전문가의 소셜 데이터, 차량에서 발생하는 운행기록, 센서, 코드 데이터, 정부의 공식 클레임사이트(NHTSA)에 등록된 데이터 등을 수집, 분석했다. 

이후 가속 페달 결함과 품질관리 소홀 등의 원인이 밝혀졌고, 토요타는 이후 품질 향상을 통한 안전성 확보에 힘을 쏟고 있다.

도이치텔레콤은 IBM과의 협력을 통해 교통 신호등이나 대중교통수단, 주차장에서와 같은 공공 서비스 등에 폭넓게 사용되는 M2M 기술과 내장형 센서, 인터넷을 이용해 시스템 상황을 실시간으로 모니터링하는 솔루션을 출시했다.

지능형 교통 관리, 경로 최적화, 버스나 기차의 도착 시간 예상, 주차 공간 관리, 에너지, 치안 등 도시의 다양한 공공 서비스에서 실시간 의사결정이 가능해져 결국 똑똑한 도시 생활로 이어진다.
사용자 삽입 이미지

이처럼 IoT와 결합된 빅데이터 분석은 우리 사회의 많은 부분을 변화시키고 있으며, 앞으로 이는 더욱 빨라질 전망이다.

F1과 요트와 같은 스포츠 경기에서도 IoT와 빅데이터 분석은 경기 결과에 영향을 끼친다.

오라클 USA 팀은 지난해 9월 개최된 국제요트대회 ‘아메리칸 컵’에서 IoT 및 빅데이터 분석 플랫폼 도입으로 우승을 차지했다고 밝힌 바 있다.

보트 전체에 부착된 300개의 센서를 통해 풍속, 풍향, 돛대의 상태, 배의 움직임 등에 대한 정보를 탐지하고, 소프트웨어를 이용해 4GB의 센서 정보를 수집, 이를 실시간으로 분석해 애플리케이션으로 전송, 요트에 장착된 태블릿이나 선수들이 손목에 차고 있던 PDA를 통해 확인할 수 있도록 했다. 이를 통해 1대8로 뒤지고 잇던 경기를 막판에 내리 8연승을 하면서 역전에 성공, 우승을 차지할 수 있었다는 설명이다.

국제자동차경주인 F1(포뮬러원)의 경우도 레이서의 타고난 역량과 집요한 노력에 의존했던 과거와는 달리, 경주 차량이 달릴때 발생하는 센서 기반의 트랙 테스트 데이터 및 차량의 바람 저항을 측정하는 풍동 테스트 데이터를 수집, 분석함으로써 엔진과 공기 역학에 대한 효율성을 강화하고 연료 소모량을 절감하는 기술적인 혁신을 꾀하고 있다.

실제로 경기 차량 1대에는 200개 이상의 센서가 부착돼 있으며, 이 차량이 1랩을 달리는 동안 센서에서 생성되는 데이터의 양은 25MB에 달한다.

향후 멀지 않은 미래에 자동차나 대형마트에 전시된 상품, 생산라인 등 거의 모든 사물에서는 센서가 부착될 것이고, 이 센서들에서 생성되는 데이터를 어떻게 처리할 것이냐에 따라 기업의 가치는 달라질 것으로 예상된다. 또한 우리의 삶 또한 예전과는 많이 변화될 것이다.

2014/10/02 03:51 2014/10/02 03:51

사 물인터넷(IoT)의 성장과 함께 다양한 디바이스에서 생성된 데이터가 급증하면서 이러한 데이터의 가치도 새롭게 주목 받고 있다. 이를 통해 혁신적인 마케팅 서비스부터 획기적인 환자 치료까지 새로운 서비스를 창출할 수 있는 비즈니스 기회가 되고 있기 때문이다. 데이터의 가치의 발굴을 위해서는 무엇보다 수많은 디바이스에서 쏟아내는 대량의 데이터를 담아 분석하는 작업이 우선돼야 한다. <딜라이트닷넷>은 창간 5주년 특별기획으로 사물인터넷 시대의 빅데이터 분석 전략에 대해 살펴본다.

<글 싣는순>
①IoT와 만난 빅데이터, 비즈니스 가치 극대화
②센서데이터 분석에 적합한 아키텍처는?…주도권 누가 쥘까
③자동차부터 도시생활까지…우리의 삶을 바꾸는 IoT·빅데이터

사용자 삽입 이미지
디바이스 내 여러 센서로부터 발생한 센서데이터는 그 양이 매우 방대할 뿐 아니라 데이터의 포맷이 다양하고 스트림 형태로 데이터가 출력된다.

또한 바이너리 형태로 출력이 되는 경우가 많아 원하는 데이터를 색출하고 변환하는 과정을 거쳐야 비로소 분석이 가능하다.

빅데이터 특성을 포함한 센서데이터를 분석하기 위해 서버에서는 하둡 기반으로 데이터를 저장, 파싱, 변환, 가공 및 분석을 하는 아키텍처를 도입하기도 한다.

그러나 하둡의 맵리듀스 처리가 일괄 배치 처리하는 특성을 가지고 있어 실시간 분석 요건에는 적합하지 않을 수 있다. 센서데이터의 특성상 약 1% 정도만이 의미 있는 데이터라고 가정했을 경우에도 이러한 데이터 전체를 서버에서 분석하기에는 불필요한 데이터 처리비용이 많이 소요된다.

때문에 서버에서 이러한 데이터를 전부 수용하기 보다는 어느 정도 의미 있다고 판단되는 데이터만 필터링해 서버로 전송하는 것이 비용이나 네트워크 입출력(IO)을 줄일 수 있다는 관점에서 좀 더 효율적으로 여겨진다.

때문에 현재 많은 글로벌 IT업체들이 IoT를 통해 생성되는 수많은 센서데이터 등을 비용 효율적으로 분석하기 위한 다양한 솔루션을 출시하고 있다. EMC나 테라데이타, IBM, 오라클 등이 이 시장에서 경쟁하는 대표적인 업체들이다.
사용자 삽입 이미지

EMC의 경우, 대용량 데이터 저장이 가능한 스케일아웃 네트워크 스토리지(NAS) 아이실론을 포함해 하둡 배포판인 피보탈 HD, 하둡 기반 실시간 분산형 인메모리 통합 분석 플랫폼 피보탈 젬파이어 XD 등을 내세우고 있다.

테라데이타는 애스터 솔루션의 고급 디스커버리 기능을 통해 단순한 SQL에서는 쉽지 않는 센서 데이터 분석은 물론 테라데이타 통합 데이터 아키텍처(UDA)를 통해 저렴한 비용으로 센서데이터를 하둡파일시스템에 저장할 수 있다는 설명이다.

오라클 역시 다양한 솔루션을 통해 적극적인 시장 대응에 나서고 있다. 자사의 하드웨어 및 소프트웨어(SW)를 최적화시킨 엔지니어드 시스템이 빅데이터 분석에서도 중요한 역할을 담당한다.

엑사데이타, 엑사리틱스 등 대표적인 엔지니어드 시스템과 함께 정형 및 비정형 데이터의 모델링 없이 예상치 못한 요청에도 빠른 분석 결과를 보여주는 기업용 검색 SW 플랫폼인 오라클 엔데카 인포메이션 디스커버리, 대량의 비정형 데이터 처리를 우한 오라클빅데이터어플라이언스 등이 대표적이다.

IBM은 센서를 통해 적은 전력으로도 빠른 데이터 송출이 가능한 ‘MQTT(Message Queuing Telemetry Transport)’ 기술을 탑재하고 있는 메시지사이트라는 솔루션을 통해 실시간으로 대량 이벤트들을 처리하고 있다.

또한 IoT 관련 개발자들을 위한 IoT 클라우드 서비스를 무료로 제공하고 있다. 이는 개발자들이 사물인터넷 환경을 간단하게 구성하고 테스트할 수 있다.

이밖에 사물인터넷 시대의 효율적인 데이터 처리를 위해 최적화된 통신 프로토콜을 무료로 공개하고, 전용 서버 솔루션도 준비하고 있다는 설명이다.

한 업계 관계자는 “향후에는 콘텐츠와 플랫폼이 더욱 다양한 방법으로 만들어지기 때문에 혼자서는 서비스를 제공할 수 없으므로 결국 모든 콘텐츠는 서로 같이 사용할 수 있는 방향으로 고민해야 한다”며 “많은 기업들이 플랫폼을 통해 어떤 데이터를 활용하고 관리할지 역할을 나눠야 하며, 결국 적절한 역할 분배로 융합을 이뤄내야 한다”고 강조했다.

2014/10/02 03:49 2014/10/02 03:49

사물인터넷(IoT)의 성장과 함께 다양한 디바이스에서 생성된 데이터가 급증하면서 이러한 데이터의 가치도 새롭게 주목 받고 있다. 이를 통해 혁신적인 마케팅 서비스부터 획기적인 환자 치료까지 새로운 서비스를 창출할 수 있는 비즈니스 기회가 되고 있기 때문이다. 데이터의 가치의 발굴을 위해서는 무엇보다 수많은 디바이스에서 쏟아내는 대량의 데이터를 담아 분석하는 작업이 우선돼야 한다. <딜라이트닷넷>은 창간 5주년 특별기획으로 사물인터넷 시대의 빅데이터 분석 전략에 대해 살펴본다.

<글 싣는순>
①IoT와 만난 빅데이터, 비즈니스 가치 극대화
②센서데이터 분석에 적합한 아키텍처는?…주도권 누가 쥘까
③자동차부터 도시생활까지…우리의 삶을 바꾸는 IoT·빅데이터

사용자 삽입 이미지
수많은 기기가 인터넷에 연결돼 자동적으로 방대한 양의 데이터를 주고 받고 생성하는 센서 기반의 ‘사물인터넷(IoT)’ 기술 발전에 따라 디지털 데이터는 놀라운 속도로 늘어나고 있다.

크기, 생성 속도, 다양성 면에서 기존과 차원이 다른 모습을 보여주는 데이터를 ‘빅데이터’라고 부른다. IoT로 생성되는 다양한 데이터들은 그 자체로 빅데이터가 된다. 센서 네트워크에서 실시간으로 쏟아지는 데이터들은 이 빅데이터의 특성을 그대로 갖고 있기 때문이다.

실제 시장조사기관 IDC와 스토리지 업체 EMC가 최근 발표한 ‘디지털 유니버스 보고서’에 따르면 인터넷에 연결된 디지털 기기의 수는 2013년 140억 대에서 2020년 320억대까지 증가, 이때 생성되는 디지털 데이터양인 44조 기가바이트(GB)의 10%에 달하는 데이터를 생성할 것으로 예측된다.

IoT를 통해 생성되는 다양한 형태의 방대한 데이터 중 상당수는 분석을 통해 큰 경제적 가치를 창출할 수 있는 유용한 정보를 숨기고 있다.

특히 사람과 기계, 차량 등에서의 행동 패턴을 측정할 수 있는 센서 데이터는 엄청난 기회를 창출할 것으로 예상된다. 이 엄청난 기회는 바로 데이터를 사용해 산업과 프로세스를 개선하는데서 비롯된다.

데이터 그 자체만으로는 가치를 제대로 살릴 수 없기 때문에 데이터를 분석하고 처리하는 것은 IoT 시대의 비즈니스의 경쟁력 향상에 반드시 필요하다.

예를 들어 보험업계는 센서 데이터를 사용해 고객들의 운전 습관을 정확히 파악할 수 있으며, 헬스케어 업계는 바이탈 사인이나 운동 관련 데이터를 수집해 의료 비용을 낮추고 서비스 품질을 높일 수 있다.

또한 센서 데이터 그 자체로도 중요한 의미가 있지만, 기업이 보유하고 있는 전사적자원관리(ERP)나 고객관계관리(CRM), 생산, 마케팅 등 기존의 다양한 데이터 및 소셜네트워크 등 회사 외부의 데이터와 결합될 경우, 더 많은 데이터의 연관성을 발굴하고 숨겨진 비즈니스 인사이트를 포착할 수 있다.

때문에 현재 많은 기업들이 IoT 환경에서 급속도로 팽창하는 데이터를 빠르고 효과적으로 처리하기 위한 기술에 주목하고 있으며, 데이터의 경제적 가치를 극대화하는 것에 높은 관심을 보이고 있다.

시장조사 및 컨설팅기관인 EMA와 9사이트의 연구 결과에 따르면 지난해 발생한 디바이스 기반 데이터는 전체 데이터의 38.3%로 전년 대비 11.1% 늘어난 것으로 분석됐으며, 빅데이터 시장 또한 연 평균 58%의 성장률을 보이며 향후 5년간 500억달러를 창출할 것으로 예측됐다.

지난 10년 간 많은 기업들은 지속성장에 노력을 기울여왔다. 이제는 한발 더 나아가 지속성장 기반 아래, 경쟁에서 앞서나가기 위한 예측경영 기업의 시대가 도래했다.

이것이 바로 많은 기업에게 실시간 분석 역량이 요구되는 이유이며, 이를 통해 비즈니스 가치를 더욱 극대화할 수 있다.

2014/10/02 03:47 2014/10/02 03:47
사용자 삽입 이미지
퀀텀은 지난해까지 빅데이터 환경을 위한 백업 포트폴리오를 완성하고 관련 시장을 집중 공략하고 있다.

이를 위해 파일 공유 시스템인 ‘스토어넥스트’부터 가장 최근 출시한 오브젝트 스토리지 기반의 ‘라투스’에 이르기까지 다양한 제품군을 갖추고, 본격적인 고객 수요 발굴에 나섰다.

퀀 텀 측은 “모든 데이터의 가치가 동일하지 않은 상황에서 IT 인프라 전반에 걸쳐 데이터의 특징과 가치 변화에 따른 적절한 분류가 필요하다는 것에 주목하고 있다”며 “스토리지 티어링 기술과 아카이브는 전체 IT인프라 상에서의 데이터 관리를 더 쉽게 해 줄 수 있다”고 설명했다.

퀀텀의 고성능 파일 공유 시스템인 ‘스토어넥스트(StorNext)’의 경우, 대용량 파일을 자동적으로 아카이빙하고 효율적으로 공유 및 관리가 가능한 기술이다.

페타바이트급 시스템에 대해 단일 네임스페이스(논리적 공간)를 제공하고 계층화된 스토리지 관리가 가능하고 중복제거 및 원격복제 기능도 포함하고 있다.

독립적인 소프트웨어 라이센스 혹은 메타데이터 어플라이언스 패키지 형태로도 활용할 수 있어 이미 전세계적으로 10만개 이상의 라이선스가 판매됐다.
 
특히 500TB 이상 데이터부터 무제한 확장이 가능하며, 기존의 백업 시스템보다 50~60% 용량을 줄일 수 있으며 저전력 인텔 아톰 프로세서가 탑재됐고 멀티 테넌시가 가능하도록 파티셔닝 기능을 지원한다.

실 제 미디어&엔터테인먼트, 생명과학, 정부 및 정유와 같은 빅데이터 집약 산업군에 적합하다는 설명이다. IDC 보고서에 따르면 스토어넥스트 고객들은 3년 동안 1달러가 투자될 때마다 6.47달러의 수익을 경험했으며(100명 기준) 자금회수기간도 4개월로 짧았다.

이와 함께 퀀텀이 새롭게 출시한 제품이 오브젝트 스토리지인 라투스다. 점차 데이터가 커지면서 일반적인 디스크로는 대용량 아카이빙이 어려워지고 있다. 기존 레이드(RAID) 아키텍처 기반 솔루션은 빅데이터 저장소로는 한계가 있다고 보고 있는 것이다.

라투스는 분산 오브젝트 스토리지 기술과 퀀텀의 파일 시스템 기술을 통합된 제품으로 기존 디스크 아키텍처의 한계와 비효율을 극복할 수 있는 새로운 아카이빙이 가능하다. 이를 통해 고객들이 중단이나 마이그레이션 없이 데이터를 영구적으로 디스크에 저장할 수 있다.

확장성과 자가 치유 기능, 99.99999999%의 내구성, 웹 및 클라우드 기반의 액세스를 위한 HTTP REST 지원, 지역적 제약을 받지 않는 분산 저장 아카이브 기능 등이 가능한 제품이다.


2013/09/27 10:05 2013/09/27 10:05
사용자 삽입 이미지
넷앱은 지난 2011년 LSI의 엔지니오 외장 스토리지 시스템 사업 부문을 인수하면서 본격적인 빅데이터 시대를 준비하기 시작했다. 이와 함께 시스코와의 협력을 통해 출시한 통합 시스템 ‘플렉스포드’ 제품군 중 하둡 배포판을 결합한 ‘하둡 통합 제품’도 출시한 바 있다.

우선 넷앱의 빅데이터 스토리지 제품인 E시리즈 중 가장 최신의 제품인 E5500은 데이터 처리 속도나 스케일, 비용 효율성 등이 강화된 제품이다. 4TB 드라이브 지원를 지원해 스토리지의 밀도, 대역폭 등이 크게 강화되는 등 러스터와 하둡 시스템에 최적화됐다는 설명이다.

이미 넷앱의 E시리즈는 슈퍼컴퓨터를 활용한 기상 예측, 유전자 연구 등 빅데이터 분석에 최적화된 제품으로 현재까지 전 세계적으로 50만대 이상이 판매됐다.

또한 넷앱이 시스코와의 협업을 통해 출시하고 있는 ‘플렉스포드’ 제품군 중 빅데이터 분석 등 데이터 집중 워크로드를 겨냥한 ‘플렉스포드 셀렉트(FlexPod Select)’ 제품군도 최근 새롭게 출시했다.

플렉스포드 셀렉트는 일반적으로 넷앱 E-시리즈와 FAS 스토리지, 시스코 UCS C-시리즈 서버, 시스코 넥서스 스위치 및 시스코 매니지먼트 소프트웨어가 통합된 단일 아키텍처로 구성된다.

이중 하둡 통합 제품은 넷앱과 시스코가 고성능의 빅데이터 환경을 위해 스토리지, 컴퓨팅, 네트워크, 데이터 매니지먼트를 위한 오픈소스 분석 플랫폼 환경을 인증한 최초의 솔루션이다.

현 재 아파치 하둡이 포함된 클라우데라사의 배포판과 호튼웍스사의 호튼웍스 데이터 플랫폼(HDP)이 포함된 배포판 2가지로 각각 구성돼 있다. 2가지 배포판 모두 하둡 구축 시 발생할 수 있는 리스크를 최소화 시키고, 엔터프라이즈 레벨의 하둡 환경을 구성할 수 있다는 설명이다.

2013/09/27 10:04 2013/09/27 10:04
사용자 삽입 이미지
미국 히타치데이터시스템즈(HDS)의 합작법인인 효성인포메이션시스템(HIS)은 HDS의 스토리지 제품을 판매하고 있지만, 최근엔 자체적으로 빅데이터 통합 플랫폼을 출시하며 시장 수요에 적극 대응하고 있다.

효 성인포메이션시스템은 국내 빅데이터 솔루션 업체인 엔에프랩과의 공동 연구 개발을 통해 빅데이터 통합 솔루션인 ‘H-팰로톤’을 출시했다. 데이터 수집, 저장, 검색 및 분석에 이르기까지, 빅데이터 분석에 요구되는 모든 작업을 하나의 플랫폼에서 쉽고 빠르게 처리할 수 있다는 설명이다.

이는 오픈소스의 취약점을 보안하기 위해 자체 개발한 모듈을 제공하며, 빅데이터를 처음 접해보는 사용자도 쉽게 관리 할 수 있는 통합 관리 툴을 제공하는 것이 특징.

페타바이트급(PB) 이상의 대용량 데이터 저장 및 테라바이트(TB) 이상의 로그 데이터를 처리하며, 데이터 용량 확장에 따른 플랫폼 자동 확장을 지원한다.

이에 따라 실시간 인텔리전스 처리 및 슈퍼 컴퓨팅, 소셜 웹 이슈 탐지 모니터링 및 예측, 통신사 콜 로그 분석, 대용량 분산 파일 시스템, 인메모리 분산 DBMS 등 다양한 분야에 높은 활용도를 제공한다.

실제로 H-팰로톤의 기능 중 하나인 분산 파일 플랫폼은 국내 통신 고객사의 분산 파일 시스템을 구축했다는 것이 회사 측의 설명이다.
 
이와 함께 효성인포메이션은 HDS 하둡 레퍼런스 아키텍처를 발표해 엔터프라이즈급에 맞는 솔루션을 제공하고 있다고 밝혔다.

우선 히타치 서버, 시스코 스위치와 클라우데라 하둡 배포판을 하나의 어플라이언스로 패키징해 기존에 다소 낮은 신뢰도의 x86 서버들로 구성된 빅데이터 플랫폼의 단점을 극복할 수 있다는 설명이다.

이 밖에도 히타치버추얼스토리지플랫폼(VSP)과 히타치유니파이드스토리지VM(HUS VM)의 올(All)-플래시 시스템과 히타치 NAS 플랫폼, 히타치 UCP 등을 통해 전체 스토리지 인프라의  최적화(Maximize IT) 전략을 지원하고 있다.
2013/09/27 10:04 2013/09/27 10:04
사용자 삽입 이미지
1위 스토리지 기업인 EMC는 빅데이터를 위한 스토리지 플랫폼으로 스케일아웃 NAS(네트워크 스토리지) 제품인 아이실론을 전면에 내세우고 있다. 이와 함께 ‘프로젝트 나일’이라는 새로운 스토리지 플랫폼도 출시할 계획이다.(EMC는 그린플럼 등을 통해 빅데이터 분석을 위한 솔루션도 갖추고 있지만, 여기에서는 스토리지 관련 솔루션만 언급한다)

EMC 아이실론은 모듈 방식의 구조와 자동화된 기능으로 대량의 데이터를 빠르고 쉽게 처리하는 한편, 유연한 용량과 성능의 확장으로 전체 컴퓨팅 구조를 단순화하고 효율적으로 구성할 수 있는 것이 특징이다.

스케일아웃 NAS 하드웨어(아이실론 S200, X200, X400, NL400) 및 소프트웨어(OneFS 6.5, SyncIQ 3.0) 플랫폼을 통해 각 애플리케이션에 맞는 솔루션을 제공하고 있다.

S 시리즈의 경우, 대량의 트랜잭션을 처리하고 IOPS가 많은 애플리케이션을 위해 설계됐으며, X시리즈는 높은 처리 성능과 뛰어난 동시 접속 액세스 성능을 필요로 하는 애플리케이션에 적합하다. 또한 NL시리즈는 용량 대비 가격과 확장성이 뛰어난 니어라인 스토리지다.

60초 이내에 용량과 성능을 확장해 단일 파일 시스템에서 15페타바이트(PB) 이상의 용량, 초당 160만 회 이상의 SPECsfs2008 CIFS 파일 작업, 100GB/s 이상의 처리가 가능한 것이 특징이다.

또한 NFS, SMB, HTTP, FTP 및 기본 하둡분산파일시스템 등 광범위한 업계 표준 프로토콜을 통합 지원하며, VM웨어 환경과도 손쉽게 통합돼 가상화 환경에서도 손쉬운 관리가 가능하다.

이 와 함께 EMC는 확장이 쉬운 새로운 스토리지 플랫폼을 내년 상반기 출시할 계획이다. ‘프로젝트 나일(Project Nile)’로 명명된 이 ‘웹 스케일’ 스토리지는 고객이 직접 쉽게 스토리지 를 디자인할 수 있다. 예를 들어 고객이 EMC의 온라인스토어에 접속해 필요한 스토리지의 용량과 형태 및 관련 소프트웨어를 클릭 몇 번으로 지정하면 구매가 이뤄지고 24시간 내 구축이 가능하다.

블록이나 파일, 오브젝트 기반 스토리지 등을 쉽게 생성할 수 있고 아마존S3나 오픈스택 스위프트 및 EMC 아트모스 등 다양한 API를 지원해 클라우드 서비스 간에도 복잡한 애플리케이션 코드 작업 없이 쉽게 이동시킬 수 있다.
2013/09/27 10:04 2013/09/27 10:04
사용자 삽입 이미지
‘빅데이터’가 기업의 주요 화두로 떠오르면서 스토리지 업계에서도 이를 지원하기 위한 다양한 방안을 내놓고 있다.

특 히 스토리지는 단순히 데이터를 저장하는 것 뿐만 아니라, 다양한 환경을 유기적으로 연동시켜야 한다는 점에서 빅데이터 시대의 가장 중요한 IT 인프라로 자리매김하고 있다. 실제 IDC의 조사에 따르면 빅데이터 관련 스토리지 시장 규모는 매년 53.4%씩 커지고 있다.

그렇다면 스토리지 업계에서는 어떻게 기업들이 무수한 데이터들을 비즈니스 목적에 맞게 관리하고 적절히 가공해 가치 있는 정보로 만들 수 있도록 도와줄 수 있을까.

우 선 대부분의 업체들이 강조하는 것이 데이터의 성격에 따른 분류다. 모든 데이터의 가치가 동일하지 않은 상황에서, IT 인프라 전반에 걸쳐 데이터의 특징과 가치 변화에 따른 적절한 분류가 필요하다는 것이다. 더 가치 있는 데이터를 빠른 스토리지에, 덜 사용하는 데이터는 비교적 저렴한 스토리지에 위치시키는 ‘자동 스토리지 티어링’ 기술이다.

자주 사용되거나 중요하다고 분류되는 ‘핫 데이터’의 경우 고성능의 솔리드스테이트드라이브(SSD)나 파이버채널(FC) 디스크로 옮기고, 사용 빈도가 낮은 ‘콜드 데이터’는 SAS나 SATA와  같이 보관에 중점을 둔 비용 효율적인 하드 디스크로 이동시켜 저장한다는 개념이다.

고가의 빠른 응답 속도를 가진 플래시 스토리지와 일반 HDD 기반의 스토리지를 동시에 사용하는 하이브리드 스토리지 전략은 현재 가장 기본적인(?) 대응책이다.

또한 스토리지 업체들은 단순한 저장 기능에 머물러 있는 것이 아니라 관련 업체들과의 협업을 통해 데이터 수집과 검색, 분석까지 연계한 어플라이언스 형태의 빅데이터 플랫폼도 내놓고 있다.

이 들은 클라우데라나 호튼웍스와 같은 ‘하둡’ 전문 업체들과의 협력을 통해 하둡용 어플라이언스에 대한 레퍼런스 아키텍처도 출시하고 있다. 안정성 등에서 다소 떨어지는 x86 서버들로 구성된 기존 빅데이터 플랫폼의 단점을 극복할 수 있다는 설명이다.

백 업 및 아카이빙 측면에서도 빅데이터 시대에 맞는 새로운 제품이 출시되고 있다. 일반적인 디스크로는 대용량 아카이빙이 어려워지면서 확장성이 뛰어나면서도 비용 효율적인 제품들이 나오고 있다. 실제 백업 전문 업체인 퀀텀의 경우 분산 오브젝트 스토리지 기술과 파일 시스템 기술을 통합한 새로운 제품을 출시하기도 했다.

이에 이번 딜라이트 창간 기획의 일환으로 빅데이터 시대에 적극 대응하고 있는 스토리지 전문 기업들의 전략을 상세하게 소개할 계획이다. EMC와 효성인포메이션시스템, 넷앱, 퀀텀 등 주요 기업들이 대상이다.

2013/09/27 10:03 2013/09/27 10:03
사용자 삽입 이미지
“하둡은 Ad-Hoc 쿼리 구현이 어렵고 실시간 분석에 적합하지 못했고, NoSQL은 복잡한 형태의 데이터 분석이 어렵다는 단점이 있었습니다. 이 때문에 그린플럼 DB에 주목하게 됐고, 이들을 효율적으로 함께 사용할 수 있는 방안을 고려하게 됐죠.”

국내 대표적인 인터넷 서비스 기업인 다음커뮤니케이션은 다양한 오픈소스를 활용하기로 유명합니다. 최근 화두가 되고 있는 빅데이터 분석에 있어서도 마찬가지입니다.

다음은 이미 지난 2009년 대용량의 데이터를 활용해 검색 품질을 높이기 위해 하둡과 NoSQL을 도입했으며, 지난해부터는 EMC의 그린플럼을 도입해 다차원, 심층적 분석을 가능하게 했다고 합니다.

다음커뮤니케이션 데이터기술팀 엄준식 팀장은 최근 한 컨퍼런스에서 그런플럼을 활용한 자사의 빅데이터 적용 사례에 대해 발표했는데요.(공교롭게도 같은날 검색품질팀에서는 또 다른 개발자 컨퍼런스에서 하둡을 활용한 사례에 대해서 발표했군요)

그에 따르면 다음은 지난해부터 정형데이터와 비정형데이터가 혼재된 웹 로그의 빠른 통계 분석을 위해 대용량 데이터 병렬처리 플랫폼인 ‘하둡’과 비관계형 데이터베이스(DB) ‘NoSQL’을 분석 플랫폼인 ‘그린플럼’과 연동하는 프로젝트를 시작했는데요.

처음에는 하둡과 NoSQL 만으로 이를 모두 구현하려고 했으나 하둡의 경우 Ad-Hoc 쿼리 구현이 어려워 개발자들의 역량이 많이 필요했고, 데이터 처리에 초점이 맞춰져 있다보니(배치지향 프러임워크) 실시간 데이터 분석에는 적합하지 못했다는 것이 그의 설명입니다

또한 NoSQL은 복잡한 형태의 데이터 분석이 어렵고, 특정 조건에 부합하는 솔루션 선택이 중요하는 등 지속적인 리뷰 필요가 필요한 솔루션이라고 판단했다고 밝혔습니다.

그러던 와중에 그린플럼 데이터베이스에 주목하게 됐는데, 이는 우선 포스트그레SQL와 대규모병렬처리(MPP) DBMS이 통합된 우선 오픈소스 DB이고 데이터웨어하우징(DW)과 비즈니스인텔리전스(BI) 기능이 포함됐다는 것이 장점으로 꼽혔다는 설명입니다.

그는 “웹 서버의 모든 로그 데이터를 하둡과 NoSQL로 1차 집계, 처리하고 이를 다시 그린플럼으로 저장, 분석해 심층적이고 다차원적인 분석이 가능하도록 구성했다”고 설명했습니다.

우선 정형데이터(RDB)와의 및 NoSQL 솔루션인 스톰과 카산드라, 하둡과의 연동을 통해 1차 집계된 결과를 그린플럼으로 보내 다차원 심층 분석을 가능하게 했는데 이를 통해 실시간 콘텐츠 검색 결과에 대한 집계에 가능하게 됐다는 분석입니다. 이렇게 가공된 데이터는 현재 다양한 서비스의 고객 성향 분석과 마케팅에 활용하고 있습니다.

그는 “그린플럼의 병렬처리 기능을 통해 빅데이터를 빠른 시간에 로딩 및 통계처리가 가능하게 됐고, 무엇보다 그동안 사용했던 SQL을 그대로 사용하면서 데이터 분석이 가능해졌다”고 강조했습니다.

특히 그린플럼의 경우 x86 서버만으로 구성이 가능한데, 다음은 기존에 사용하던 x86 서버를 활용해 상대적으로 저렴한 비용 및 고확장성의 분석 시스템 구축이 가능했다고 밝혔습니다. 추후 데이터양이 늘어나더라도 x86서버만 추가하면 되기 때문에 손쉽게 용량 확장이 가능하기 때문입니다.

한편 그는 이를 위해선 무엇보다 인력 확보가 중요하다고 강조했습니다.

엄 팀장은 “최근 많은 기업이 빅데이터 이슈를 놓고 고민하고 있는데, 우리과 같이 데이터 사이즈가 많은 기업이라면 하둡과 NoSQL의 연동을 생각할 수 밖에 없을 것”이라며 “다만 이때 놓쳐서는 안되는 것이 이러한 기술들은 계속해서 변하기 때문에 이를 지속적으로 리뷰할 수 있는 인력 확보가 중요하다”고 말했습니다.

이어 그는 “확보한 인력에 대해서도 잘 보존, 유지하는 것이 필요하며 만약 이것이 쉽지 않고 데이터양이 많지 않다면 차라리 어플라이언스 형태로 도입하는 것도 고려하라”고 덧붙였습니다.

이밖에도 그는 “빅데이터 분석을 위해선 부서 간, 구성원 간 협업이 중요한데, 이를 위해 협업 솔루션을 도입하는 것도 검토하라”고 조언했습니다. 현재 다음의 경우, EMC의 협업솔루션인 코러스를 리뷰하고 있다고 밝혔습니다.
2012/11/19 15:45 2012/11/19 15:45


6월 4일(미국 현지시간)부터 미국 라스베이거스에서 HP의 연례 기술 컨퍼런스인 ‘HP 디스커버 2012’가 올해도 여김없이 열렸습니다.

원래 HP는 ‘HP 테크포럼’이라는 하드웨어 중심의 컨퍼런스와 ‘HP 소프트웨어 유니버스’라는 행사로 나눠 개최했었지만, 지난 2010년부터  ‘HP 디스커버’라는 이름으로 통합해 개최하고 있습니다.

올해 행사의 주제는‘기술’입니다. 창립자였던 빌 휴렛과 데이비드 패커드의 설립 이념처럼 연구개발(R&D)을 중심으로 계속해서 기술을 통한 고객의 혁신을 돕겠다는 의지를 보여주고 있는 듯 합니다. 최근 대규모 구조조정 등으로 어려움 나날을 보내고 있는 HP의 직원들과 이를 지켜보는 주주, 고객들에게 이전처럼 기술 중심의 회사로 다시 한번 도약하겠다는 것입니다.

이번 컨퍼런스의 캐치 프레이즈도 ‘기술을 통해 당신이 원하는 모습 것을 가능하게 해 주겠다’는 뜻인만큼, HP가 와신상담(?)의 시기를 거쳐 어떠한 모습으로 나아가게 될지 기대됩니다.


올해 부스에서는 HP 디스커버 극장(Theater)을 곳곳해 배치해 다양한 기술 및 솔루션에 관련된 강의가 이어졌습니다. 참석자들의 높은 호응을 이끌어냈습니다.


올해 컨퍼런스의 참관객은 약 1만 1000여명으로 추정됩니다. 부스를 꾸린 파트너사는 56개입니다. 브로케이드는 세번째 등급인 플래티넘 파트너로 참석했습니다.

이 회사는 SAN 스위치의 90% 이상을 생산하는 업체입니다. 이는 3PAR와 같은 SAN 스토리지와 서버를 연결해 주는 역할을 합니다. 자사 부스에 3PAR를 직접 가져다놓고 고객에게 설명하는 모습이 인상적입니다.



삼성전자는 이번 HP 컨퍼런스에 4번째 등급인 골드 파트너로 참석했습니다. 우리나라 업체 중에는 거의 매년 참여하고 있습니다.

지난해부터 삼성전자는
HP와 국내에서도 활발한 마케팅 활동을 펼치고 있는데요. 서버에 하드디스크 대신 SSD를 탑재했을때 전력 비용이 줄어들어 그린(친환경)을 실현할 수 있다는 설명입니다.


그러나 문제는 여전히 가격이겠지요. 아직까지 하드디스크와 SSD와의 가격 차이(삼성전자 제품 기준)는 3~4배 정도 나고 있습니다.

HP가 줄기차게 강조하고 있는 컨버지드 인프라스트럭처(CI) 입니다. 개인적인 생각인데 3PAR는 스토리지 치고는  외관이 참 예쁜 것 같습니다.


인텔은 HP 행사에 늘 최고등급(컨퍼런스)의 파트너로 참석합니다. 자사의 칩을 가장 많이 팔아주는 고객이기 때문이죠. 최근 아이테니엄칩 때문에 한참 시끄러운데, HP와 향후 또다른 협력 관계를 어떻게 가져갈지 주목됩니다.



MS는 컨퍼런스 다음 등급인 다이아몬드 파트너로 이번 행사가 참여했습니다.



HP가 강조하고 있는 보안입니다. HP 멕 휘트먼 회장은 최근 구조조정안을 발표하면서 향후 R&D를 클라우드 컴퓨팅과 빅데이터, 보안 등에 집중하겠다고 했는데요.

위 화면에 보이는 아크사이트 등을 비롯해 HP는 최근 보안관련 업체 다수를 인수한 바 있습니다.



HP의 가장 친한 친구, 절친인 드림웍스가 오는 6월 8일 개봉하는 마다가스카3의 전광판입니다. 실제 드림웍스는 HP 디스커버 참관객들을 위해 마다가스카3를 사전 상영하는 호의를 베풀었답니다.

사용자 삽입 이미지
결론은 고객이 원하는 것이든 무엇이든 빨리하도록 해주고, 휼륭하게 해주고, 특별하게 해주고, 빛나게 해주겠다고 하는 등등의 메시지를 전달하고 있습니다.

2012/06/07 15:59 2012/06/07 15:59