인텔, ‘인텔 아파치 하둡’ 출시

저번엔 하둡의 경쟁자 HPCC에 관련한 기사를 올려드렸었는데요. 이번엔 하둡에 관련한 기사입니다. 사실상 빅데이터 시장의 표준이라 불리는 하둡의 기세가 무섭네요. 하루 새에 하둡에 관련된 발표가 연달아 이뤄졌습니다. 기존 데이터베이스 회사와 발표하던 것이 아닌 인텔과 같은 반도체업체와의 협력이 이뤄진 이번 사례는 주목해봐야 할 것 같은 사례이고, MS와의 협력에 의한 윈도우용 플랫폼의 제공은 더욱 눈에 띄는 사례네요. 윈도우용 플랫폼에 의해 하둡데이터와 SQL서버간의 통합이 쉬워졌다는 것은 그 활용성 측면에서 용이함이 올라가는 요소이기 때문입니다. 경쟁자들은 과연 어떻게 따라올 수 있을지가 주목되는 시점입니다.

 

 

#

 

 

하둡 없이는 빅데이터 얘기를 꺼낼 수 없는 모양이다. 데이터베이스(DB)와 데이터웨어하우스(DW) 업체가 하둡 끌어안기에 나선 가운데 인텔도 빅데이터 사업 강화를 위해 아파치 하둡을 품었다. 인텔은 2월26일 싱가포르에서 개최하는 ‘인텔 아태지역 빅데이터 런치’ 행사에서 대용량 데이터 처리를 돕는 ‘인텔 아파치 하둡(인텔 배포판)’ 소프트웨어를 선보였다. 프로세서부터 안정적으로 대용량 데이터 처리를 돕겠다는 전략이다.

 

제이슨 페더 인텔 APAC&중국 데이터센터 그룹 제너럴 매니저는 “이번에 출시한 인텔 아파치 하둡엔 하둡분산파일시스템(HDFS), 하둡 프로세싱 프레임워크, 하이브, H베이스 등이 포함돼 있다”라며 “여기에 더해 인텔 제온 프로세서 안에 인텔 AES-IN을 탑재해, 하둡 분산 파일시스템과 실리콘 기반 암호화 지원을 통합해 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있는 게 특징”이라고 설명했다.

 

하둡은 다양하고 많은 양의 데이터를 확장 가능한 서버 클러스터에서 저장하고 처리하기 위한 오픈소스 프레임워크다. 인텔 AES-NI는 인텔 제온 프로세서 제품군과 2세대 인텔 코어 프로세서 제품군의 데이터 암호화를 가속화하는 새로운 암호화 명령어 세트로 이전에는 불가능했던 영역에도 적용되는 광범위한 암호화가 특징이다. 이번에 인텔이 선보인 아파치 하둡 소프트웨어로 사용자는 좀 더 빠르면서도 안정적으로 대용량 데이터를 처리할 수 있게 됐다.

 

예를 들어 병원에서 수백만건의 전자적 의료 기록과 공적 건강 자료나 사고 기록 등의 데이터 분석을 통해 의료제공자들이 더 빠르고 정확한 진단을 내리고 약물의 효능과 약물의 상호작용, 권장 투여량 및 잠재적인 부작용까지 결정할 수 있도록 지원할 수 있는 길이 열린 셈이다. 이는 환자 치료를 개선하는 데도 도움이 된다.

 

인텔은 “이전에는 1TB의 데이터 분석에 4시간 이상의 처리 시간이 소요됐다면, 현재 인텔의 하드웨어와 인텔 아파치 하둡의 조합으로는 7분 만에 가능하다”라고 밝혔다.

 

지난해 말부터 인텔은 제온 프로세서에 오픈소스 아파치 하둡을 활용하면 얼마나 빠르게 데이터를 처리할 수 있는지 알리기에 바빴다. 하둡이 왜 필요한지, 제온 프로세서 기반에서 아파치 하둡을 최적화해 적용하려면 아키텍처를 어떻게 구성해야 하는지를 다루는 논문을 발표하면서 오랫동안 하둡을 준비해 왔다. 하루아침에 껴안은 하둡이 아니다.

 

실제로 인텔은 향후 인텔의 데이터센터 컴퓨팅, 네트워킹, 스토리지 및 인텔리전트 시스템 제품 전반적에 아파치 하둡을 확대 적용할 계획이다. ‘인텔 아파치 하둡 매니저’를 통해 하둡 클러스터의 구현과 구성, 감시를 더욱 간소화하고 ‘인텔 인텔리전트 시스템 프레임워크’로는 기기로부터 데이터센터에 이르는 엔드투엔드 분석을 위해 중요한 정보를 수집, 분석 및 전달할 수 있는 기반을 마련할 심산이다.

 

인텔은 빅데이터 생태계를 발전시키기 위한 연구와 자본 투자 계획도 빼놓지 않았다. 인텔연구소는 대용량 데이터 세트를 그래프로 구성해 데이터간 관계를 시각화하기 위한 ‘인텔 그래프 빌더 소프트웨어’ 개발 등 첨단 분석 연구를 진행 중이다.

 

보이드 데이비스 인텔 데이터센터 소프트웨어 부문 총괄 매니저 겸 부사장은 “사람과 기계는 악천후를 정확히 예측하기도 하고 불치병을 위한 맞춤 치료법을 개발하는 등 다양한 방식으로 인간의 삶을 질적으로 향상시켜 줄 수 있는 가치 있는 정보를 만들어 낸다”라며 “인텔은 업계가 혁신의 한계를 극복하고 빅데이터의 무한한 잠재력을 실현시킬 수 있는 보다 나은 기반을 마련하기 위해 오픈소스 커뮤니티 지원에 전력을 다하고 있다”라고 말했다.

 

http://www.bloter.net/archives/145105