사용자 삽입 이미지
▲페이스북 데이터센터의 내부 모습

이처럼 페이스북은 계속되는 이용자들의 급증과 엄청난 트래픽으로 인프라 지원에 힘을 쏟고 있는 상황인데, 2010년 말 기준으로 페이스북은 매달 6900억 이상의 페이지뷰가 발생하고 있으며 이는 전세계 인터넷 트래픽의 9.5% 가량을 차지하고 있다고 합니다.

특히 매일 1억장 이상의 새로운 사진이 사용자들에 의해 추가되면서, 엄청난 숫자의 스토리지(데이터 저장소)가 요구되고 있는 상황입니다.

통계에 따르면, 매달 페이스북을 통해 약 300억 장 이상 사진이 공유되고 있으며, 100만개 이상의 웹사이트, 55만개의 애플리케이션이 페이스북 커넥트 플랫폼을 사용하고 있다고 하지요.

‘페이스북’ 데이터센터는 어떤 모습일까<상> 편에서도 언급했듯이 이 같은 서비스 지원을 위해 페이스북은 현재 미국 내 산타클라라라와 산호세 실리콘밸리 내 최소 6개 데이터센터와 샌프란시스코 1개 데이터센터, 버지니아주 애쉬번의 약 3개 데이터센터를 임대하고 있다고 합니다.

또한 페이스북이 첫 번째로 건립 중인 오리건주의 자체 데이터센터 역시 최근 거의 완공돼  현재 일부는 운영이 시작된 것으로 알려지고 있는데요. 만약 페이스북의 성장세가 앞으로도 계속 현재와 같은 수준으로 이어진다면, 구글과 마이크로소프트, 야후, 이베이와 같은 대규모 데이터센터 구축이 불가피할 것으로 보입니다.

그렇다면 페이스북이 현재 운영 중인 데이터센터의 크기는 얼마나 될까요.
사용자 삽입 이미지
▲페이스북 데이터센터의 내부 모습. 얼마나 넓은지 직원이 자전거를 타고 이동하고 있습니다.

현재 페이스북이 임대하고 있는 데이터센터들의 평균 면적을 살펴보면 약 1만~3만 5000평방미터(3000평~1만 500평) 혹은 2.25~6메가와트 정도인 것으로 알려집니다.(데이터센터들의 전력 사용량이 급증하면서, 최근 데이터센터 건물주들은 면적 대신 전력 사용량을 바탕으로 임대료를 측정하고 있다고 합니다.)

페이스북이 구축 중인 오리건주 프린빌의 데이터센터의 경우, 건립 당시만 해도 전체 그키가 약 14만
7000평방미터(약 4만 5000평) 규모가 될 것으로 알려졌으나, 계속되는 성장세에 따라 당초 계획을 수정해, 이보다 2배 이상 늘린 16만 평방미터(약 5만평)를 추가했다고 합니다.

이에 따라 프린빌 데이터센터의 전체 면적은 약 30만 7000평방미터(9만 5000평)로 최종 확정됐으며, 이는 월마트 매장 2개를 합친 것보다 큰 크기라고 하네요.

사용자 삽입 이미지
▲미국 오리건주 프린빌 데이터센터 착공 행사

페이스북
조나단 헤일링거 기술운영 부사장은 “사진이나 비디오 추가 기능 없이 소수의 사람들만이 처음 페이스북을 시작했을 때만 해도 전체 서비스가 단 한대의 서버에서 가능했었지요”라고 회상합니다.

페이스북 기술팀에 따르면 2010년 6월 현재 페이스북은 약 6만 대의 서버를 운영하고 있다고 하는데요. 이는 지난 2008년 4월 1만대, 2009년 3만대로 늘어나며 매년 2~3배 증가한 수치입니다.

물론 이 6만대에는 현재 건립 중인 오리건 프린빌의 데이터센터 내에서 운영되는 서버는 포함돼 있지 않습니다. 프린빌과 노스캐롤라이나 중에 건립 중인 데이터센터에서 운영될 서버까지 합친다면 이보다 훨씬 늘어나겠지요.

참고로 현재 최대 인터넷 서비스 업체인 구글
의 경우 운영하는 서버가 45만대, 마이크로소프트(MS)가 30만대, HD/EDS가 38만대, 인텔이 10만대 등으로 알려져 있습니다.(물론 이 글을 쓰고 있는 현재에도 이들 업체의 서버는 계속 증설되고 있을 것이기 때문에 정확하다고 볼 수는 없습니다.)

그렇다면 페이스북은 어떤 브랜드의 서버를 사용할까요?

페이스북은 공식적으로 어떤 브랜드의 서버를 운용하고 있는지에 대해서는 공개적으로 밝힌 바 없지만, 알려진 바에 따르면 지난 2007년 래커블(현재의 SGI)사의 서버를 대량으로 구입했으며, 델 서버도 상당수 보유하고 있는 것으로 알려집니다. 

페이스북의 헤일링거 기
술운영 부사장은 종종 HP와 IBM과 같은 주요 서버 업체들에 대해 비판해왔는데, 그 이유는 이들 업체의 서버를 페이스북과 같은 거대한 인프라에 적용하기가 쉽지 않다는 것이었습니다.

즉, 페이스북과 같은 서비스를 지원하는 인프라는 복잡한 엔터프라이즈 컴퓨팅을 위한 기능들 대신 특정 워
크로드에 최적화된 베어본(bare bone) 서버가 경제학적으로 훨씬 낫다는 것입니다.

사용자 삽입 이미지
▲페이스북 데이터센터 내의 서버

이는 현재의 클라우드 컴퓨팅에서 적용되는 인프라와 일맥상통합니다.

수많은 사람들이 엄청난 양의 데이터를 저렴한 비용으로 공유하고 사용할 수 있게 하기 위해선 싼 가격의 범용 하드웨어 인프라에 오픈소스 소프트웨어를 활용해 비용을 줄이고, 대신 필요한 컴퓨팅 자원을 보다 쉽게 즉각적으로 늘릴 수 있는 것이 중요하기 때문입니다.

이같은 이유 때문에 헤일링거 부사장은 지난해 초에 있었던 한 기술 컨퍼런스에 참여해 티엘라(Tilera)와 시마이크로(SeaMicro) 등을 ‘주목해야 할 업체’라고 지목하기도 했다
고 합니다. 이들 제품의 멀티코어 프로세서가 전력은 적게 먹는 대신, 컴퓨팅 파워가 우수하기 때문이라네요.

페이스북은 최근 모바일칩의 절
대 강자인 ARM사의 저젼력의 프로세서를 사용하기 시작한 것으로도 알려졌는데, 이에 대해선 사실이 아니라고 공식적으로 밝힌 바 있습니다.

한편 앞에서도 언급했듯이, 페이스북은
오픈소스 소프트웨어를 사용해 다양한 서비스를 개발한 것으로 유명한데요.

페이스북은 PHP 프로그래밍 언어를 통해 개발됐고, MySQL 데이터베이스를 사용하고 있는데, 페이스북 엔지니어링팀은 ‘힙합(HipHop)’이라 불리는 프로그램을 개발했다고 합니다. 이는 PHP 소스코드를 C++로 전환해 성능을 높인 것이라고 하네요.

페이스북은 현재 MySQL 데이터베이스 클러스터를 사용하는 가장 큰 회사 중 하나로, 오픈소스 캐싱 시
템인 멤캐쉬드(memcashed)의 가장 큰 사용 그룹이기도 합니다. 멤캐쉬드는  고성능의 분산 메모리 캐싱 시스템인데, 사용량이 많은 동적 웹 어플리케이션에서 DB의 부하를 줄이기 위해서 사용됩니다.

지난 2009년 마크 주커버그가 직접 언급했듯이, 멤캐쉬드는 페이스북 서비스에서 웹 애플리케이션의 확장을 향상시켜주는 중요한 수단으로 사용되고 있습니다.

또한 페이스북은 다수의 플랫폼에서 운영되는 인프라를 묶을 수 있도록 RPC(remote procedure calls)를 사용해 프레임워크를 만들었으며, 이밖에도 아파치 하둡(Apache Hadoop)과 아파치 카산드라(Cassandra), 아파치 하이브(Hive), 플래쉬캐쉬(FlashCache), 스크라이브(Scribe), 토네이도(Tornado), Cfengine, Varnish 등의 오픈소스 소프트웨어가 대거 사용됐습니다.

그렇다면 페이스북은 데이터센터
운영에 얼마만큼의 돈을 쓸까요?

패이스북은 2010년 9월 현재 데이터센터 면적을 임대하는 데에만 연평균 5000만 달러(한화로 약 560억원)를 지불한다고 합니다.

이는 2009년 5월 기준 약 2000만 달러 임대 비용에 비해 2배 이상 증가한 수치입니다.

아마도 서버와 스토리지
등 하드웨어 투자 비용까지 포함한다면 어마어마한 수치이지요. 현재 페이스북은 ‘디지털 리얼리티 트러스’와 ‘듀퐁 패브로즈 테크놀로지’, ‘포춘 데이터센터’, ‘코어사이트 리얼리티’ 등 4개 데이터센터 업체에게 데이터센터 상면을 임대하고 있는 것으로 알려집니다

그렇다고 하더라도 여전
히 페이스북이 데이터센터 운영에 사용하는 비용은 다른 업체의 인프라 투자 비용에 비해선 적은 수치입니다. 구글은 2008년 기준 데이터센터 인프라에 23억 달러를 투자했으며, MS는 현재 보유 중인 개별적인 데이터센터에 5억 달러를 투자하고 있습니다.

그렇다면 페이스북 데이터센터를 운영하는 데에는 몇 명의 사람들이 필요할까요.

페이수북의 데이터센터 시설은 고도로 자동화시켜서 대략 한 사이트에 약 20~50명 정도로도 충분하다고 합니다. 이를 환산하면 보통 한명의 엔지니어가 약 100만명의 사용자가 사용할 인프라(서버)를 담당하는 수준입니다. 현재에는 1명당 120만명 수준까지 높였다고 하네요.

프린빌 데이터센터의 경우는 약 12개
월의 건설 기간 동안 200명 이상의 인력을 투입시켰는데, 향후 이를 운영할 인력으로 약 35명의 풀타임 직원 및 수십명의 파트타임 및 계약직 직원을 고용할 예정이라고 합니다.

또한 놀라운 점 중 하나는 페이스북의 첫 번째 데이터센터이기도 한 프린빌의 데이터센터는 에너지 효율의 척도를 알려주는 PUE 수치가 1.15에 달한다는 점입니다


PUE는 데이터센터가 사용하는 총
전력을 IT장비가 사용하는 전력으로 나눈 값입니다. 이는 데이터센터 효율성을 나타내는 업계의 표준 지표라고 할 수 있습니다.

일반적인 데이터센터는 PUE 값이 2정도로 산출이 되는데, 이는 곧 서버 자체에 필요한 전략이 1Kw일때, 해당 데이터센터에는 2Kw의 전력이 공급돼야 한다는 것을 뜻합니다.

나머지 1Kw의 전략은 IT장비에
서 발생하는 열을 식히기 위한 냉각 등에 주로 사용이 되기 때문에, PUE 수치는 낮을수록 더 효율적입니다.

PUE가 1.15라면 엄청나게 에너지 효율이 좋은 것입니다. 프린빌 데이터센터는 에너지 효율을 위해 냉수를 통한 증발식 냉각 방식을 도입할 예정인 것으로 알려져 있습니다.
 
사용자 삽입 이미지
▲페이스북이 도입할 새로운 방식의 UPS 공급 체계

또한 이 데이터센터는 현재 특허 출원 중인 새로운 방식의 UPS(무정전전원공급장치)를 도입할 것으로 전해지는데요.

이는 기존 UPS 장비보다 약 12% 가량 절감이 가능하다
고 합니다. 이는 구글의 전력 공급 방식을 따라한 것으로, 각 서버에 12볼트의 배터리를 추가시켜 공급하는 방식이라고 합니다.

이밖에도 서버에서 발생하는 열을 재활용
해 사무실 난방으로도 이용할 예정이라고 합니다.

사용자 삽입 이미지
▲그린피스는 페이스북이 데이터센터를 친환경적으로 건립해야 한다고 주장하고 있습니다

한편 환경단체인 그린피스는 최근 페이스북 데이터센터에 대해 비판적인 입장을 취해 주목받기도 했는데요.

이는 페이스북이 건립 중인 오리건주의 데이터센터에 필요한 전력의 절반 이상이 화석 연료를 사용하는 재생 불가능한 에너지이기 때문에, 친환경적이지 않다는 이유에서
였습니다.

페이스북 측은 이에 대
해 “이번 데이터센터는 건립 당시부터 미국 그린빌딩 표준인 (LEED)에 맞춰서 짓고 있으며, 석탄 뿐만 아니라 천연가스와 풍력 등 다양한 연료를 이용하는 하이브리드형 데이터센터”라고 강조하고 있습니다.

끝으로 ‘페이스북 이펙트’라는 책을 보면,
“페이스북은 인텔과 닮아있다”라는 글이 나옵니다. 즉, 페이스북이야말로 궁극적으로는 소비자들이 항상 사용하고 있지만, 거의 인식하지 못하는 PC 안의 인텔 반도체 칩과 같은 역할을 인터넷 세계에서 담당하게 될 것이라는 것입니다.

이미 우리 생활에 깊숙이 들어와있는 페이스북이 앞으로 또 우리 생활에 어떠한 영향을 미치게 될지 궁금해집니다. <끝>


2011/01/20 17:53 2011/01/20 17:53
사용자 삽입 이미지
2004년 2월, 하버드대 학생이던 마크 주커버그가 자신의 기숙사에서 한대의 서버를 놓고 시작했던 ‘페이스북’이 전세계를 들썩이게 하고 있습니다.

초창기 ‘더 페이스북’이라는 이름으로 시작한 것으로 알려진 이 소셜네트워크서비스(SNS)는 지난해엔 구글을 누르고 방문객이 가장 많았던 웹사이
트로 등극했습니다. 페이스북은 이제 인류의 일상생활을 지배하는 막강 미디어로 떠오르고 있는 것이지요.

현재 페이스북은 전세계 약 6억 명에 육박하는 이용자가 사용하고 있는데, 이 수억 명의 사람들이 자신들의 ‘페북’ 친구들과 담벼락을 통해 이야기를 나누고, 사진을 공유하기 위해서는 바로 서버와 네트워크 등 인프라스트럭처의 지원이 절대적이라고 할 수 있습니다.

포춘지의 테크놀로지 전문기자였던 데이비드 커크패트릭이 쓴 ‘페이스북 이펙트(facebook effect)’라는 책을 보면, 주커버그가 페이스북을 운영하는 과정에서 가장 신경썼던 점 중 하나가 바로 원활한 서비스를 위한 인프라 운영이었던 것으로 알려져 있는데요.

(참고로 ‘페이스북 이펙트’는 커트패트릭 기자가 마크 주커버그는 물론 페이스북 대내외 주요 인물들과 나눈 실제 인터뷰와 증언들을 바탕으로 한 페이스북의
비하인드 스토리를 담고 있습니다.)

아무리 좋은 서비스라고 하더라도, 이러한 인프라 지원이 원활하지 않아 서비스가 느려지고 장애가 잦아지면서 수많은 사용자들을 잃게 되는 경우가 많지요.  

실제로 페이스북 이전에 미국에서 생겨났던 SNS들 중에는 인프라 지원이 원활치 않아 결국 서비스가 흐지부지된 경우가 많은 것으로 알려집니다.

일반인들에게 잘 와 닿지는 않겠지만, 이 수억 명에 달하는 어마어마한 사람들이 자신의 페북 친구들과 담벼락을 통해 이야기를 나누고 사진을 공유할 수 있는 것은 바로 이러한 대량의 트래픽과 용량을 지원하는 데이터센터로 인해 가
능한 것입니다.

사용자 삽입 이미지
▲페이스북 데이터센터 내부

그렇다면 데이터센터는 무엇일까요. (위 사진처럼) 서버와 네트워크, 스토리지 등 서비스 운영에 필요한 IT 장비들을 한곳에 모아놓은 장소라고 할 수 있겠습니다.

공장 같이 큰 공간에 페이스북과 같은 인터넷 서비스를 원활하게 하기 위해서 시꺼멓게 생긴 길쭉한 장비들이 쭉 늘어뜨려져 있고, 이것들을 연결해
놓은 수많은 케이블들이 가득 차 있는 모습을 생각하시면 될 것 같습니다.

페이스북이 운영하는 미국 내 약 10여개 데이터센터에 있는 수만 대의 웹서버와 스토리지들은 광채널 케이블을 통해 전세계 사용자들을 연결시켜주고 있는 셈이지요.

여러분들이 페이스북을 통해 친구들과 정보를 공유할 때마다 이
데이터센터 내 서버들은 이러한 데이터를 받아서 이를 다시 ‘페친’들에게 뿌려주는 역할을 하고 있는 것입니다.

그렇다면 대체 6억명의 사람들이 이용하고 있는 페이스북의 데이터센터는 어떤 모습인지 상세히 들여다보도록 하겠습니다.

알려진 바에
따르면, 페이스북을 이용하는 사용자의 70% 이상이 미국 외 지역에 있음에도 불구하고, 페이스북의 데이터센터는 모두 미국 내에 존재하고 있습니다.

아마도 서비스를 계속해서 확장되게 되면, 이러한 데이터센터들이 해외에 생길 가능성도 있습니다만 현재까지는 미국에서만 운영하고 있
는 것으로 알려져 있습니다.

현재 페이스북은 적어도 미국 내 약 9~10개의 데이터센터를 임대해서 사용하고 있으며, 지난해부터는 오레건주 프린빌과 노스캐롤라이나주 포레스터시티에 직접 데이터센터를 짓고 있는 것으로 전해집니다.

사용자 삽입 이미지
▲오레건주 프린스빌에 위치한 페이스북 데이터센터

건립 중인 데이터센터들은 전력 및 냉각에 최적화돼 있다고 하는데요.

실제 데이터센터에서 소비되는 전력의 절반 이상이 IT 기기에 사용되는 것보다는 이러한 기기들에서 발생하는 열을 냉각시키는데 사용되고 있기 때문에, 현재 대부분의 데이터센터들은 냉각에 가장 많은 신경을 쓰고 있는 상황입니다.

페이스북은 2010년 6월 기준으로 약 6만 대 정도의 서버를 운영하고 있는데(물론 현재에도 계속해서 추가되고 있겠지요), 리눅스 기반의 x86 서버와 같은 저렴한 범용 하드웨어에 오픈소스 소프트웨어를 올려서 인프라를 구성하고 있다고 합니다.

이는 구글이나
야후 등 다른 인터넷 서비스 기업들의 인프라와 마찬가지로, 트래픽이 늘어날 때마다 저렴한 비용으로 쉽게 확장 가능한 구조로 돼 있는데요.

사용자 삽입 이미지
▲페이스북의 서버 증가 추이

범용 하드웨어와 오픈소스 소프트웨어의 구조는 현재 클라우드 컴퓨팅 환경에 가장 적절한 인프라 구성 조합으로 각광받고 있기도 합니다. 이는 엄청난 양의 데이터를 효율적으로 관리하고 저장하기 위한 방안으로 클라우드 컴퓨팅이 뜨고 있다는 점과 일맥상통합니다.

어찌됐든 페이스북의 경우, 단기간에 엄청난 속도로 사용자들이 늘어났기 때문에 적절한 시기에 서버를 늘려나가는 것이 매우 중요했는데, 페이스북에서 최고기술책임자(CTO)를 지냈던 아담 디안젤로는 ‘페이스북 이펙트’라는 책을 통해 이렇게 말하고 있습니다.

(참고로 아담 디안젤로는 마크 주커버그와 고등학교 3학년 시절 시냅스라는 음악 공유 소프트웨어를 함께 만든 사람으로, 페이스북을 퇴사한 이후에도 주커버그와 여전히 막역한 사이라고 하네요.)

“데
이터베이스에 과부하게 걸려 고치고 나면, 이메일 송신에 문제가 생겼지요. 이를 해결할 때쯤에는 사이트가 한계에 다다랐다는 느낌이 들고 결국 다음 주에 문제가 터지고 사이트 용량을 늘려가야 했어요. 산타클라라에 있는 데이터센터에 자주 가서 서버를 늘렸는데, 2005년 연말까지 페이스북이 서버와 네트워크 기기에 투자한 금액은 440만 달러(한화로 약 50억원)에 달합니다. 이윽고 페이스복이 사진공유서비스 시작하게 되면서, 페이스북은  향후 6개월 동안 사용하리라 계획했던 저장소(스토리지)를 6주 만에 소진하기에 이르렀습니다. 당시 데이터센터 소프트웨어 전문가인 제프 로스차일드의 경우, 용량 초과로 서버가 마비되는 등의 비상사태가 생기지 않도록 밤을 새면서 일하는 경우가 다반사였지요. 회사 전 직원이 데이터센터 상황을 파악하고 새 서버를 설치하는데 동원되기도 했었습니다.”

<계속>


2011/01/18 15:13 2011/01/18 15:13