Дата-центры Google на перфокартах

Если хранить данные на перфокартах, насколько большим будет хранилище дата-центра Google?

— Джеймс Зетлен

Пожалуй, Google может хранить больше данных, чем любая другая организация на Земле.

Google очень скрытен в отношении своей деятельности, так что сложно сказать наверняка. Существует лишь горстка организаций, в теории имеющих возможность содержать более ёмкие хранилища данных или более масштабную серверную инфраструктуру. Вот мой краткий список главных претендентов:

• АНБ (Агентство национальной безопасности),
• УНР (Национальное управление военно-космической разведки США),
• NGIP (Национальное агентство геопространственной разведки),
• ЦРУ (Центральное разведывательное управление США),
• Шлюмберже (крупнейшая нефтесервисная компания),
• Tencent (китайская телекоммуникационная компания),
• Шеврон (энергетическая компания в США, одна из крупнейших корпораций в мире).

Утешительный приз получают:

• Amazon (огромен, но, вероятнее всего, не настолько, насколько Google),
• Facebook (довольно масштабен, быстро растёт, но всё ещё играет в догонялки),
• Microsoft (владеет миллионом серверов^[1],↲Data Center Knowledge: Балмер: «У Microsoft миллион серверов».↳ хотя никто, кажется, не знает, зачем).

Давайте попробуем выяснить, как много вычислительных мощностей у Google.

По следу денег

Начнём с денежного следа. Основные затраты Google — расходы на строительные материалы^[2]↲Я не включаю стоимость чрезвычайно дорогого здания, которое они купили в Нью-Йорке.↳ — иногда насчитывают свыше 12 миллиардов долларов^[3].↲Data Center Knowledge: Строительный бум дата-центров Google продолжается: 1,6 миллиарда долларов инвестиций за 3 месяца.↳ Самые большие дата-центры Google стоят от полумиллиарда до миллиарда долларов, значит, их едва ли больше 20.

У себя на веб-сайте^[4]↲Расположение дата-центров.↳ Google подтверждает наличие дата-центров в следующих местах:

1. Округ Беркли шт. Южная Каролина.
2. Каунсил-Блафс шт. Айова.
3. Атланта шт. Джорджия.
4. Округ Мейз шт. Оклахома.
5. Ланор шт. Северная Каролина.
6. Дэлз шт. Орегон.
7. Гонконг.
8. Сингапур.
9. Тайвань.
10. Хамина, Финляндия.
11. Сен-Гислен, Бельгия.
12. Дублин, Ирландия.
13. Киликура, Чили.

Ко всему прочему, они, видимо, управляют несколькими другими крупными дата-центрами (иногда через дочерние компании), включая:

1. Эмсхавен, Нидерланды.
2. Гронинген, Нидерланды.
3. Будапешт, Венгрия.
4. Вроцлав, Польша.
5. Рестон, Виргиния.
6. Дополнительные узлы неподалеку от Атланты, Джорджия.

Их оборудование также работает в десятках, а то и сотнях других мест поменьше по всему миру.

По следу энергии

Чтобы узнать, сколько серверов запущено в Google, мы можем заглянуть в их счёт за электричество. К сожалению, мы не можем просто прокрасться в дата-центр и посмотреть на счётчик^[5].↲Или, погодите, можем? Кто-то должен попробовать.↳ Вместо этого придётся немного покопать.

Компания раскрыла сведения, что в 2010 году они потребляли в среднем 258 мегаватт мощности^[6].↲Google использовал 2 259 998 МВт⋅ч электроэнергии в 2010 году, что соответствует среднему потреблению в 258 мегаватт.↳ На сколько компьютеров этого хватит?

Нам известно, что дата-центры Google весьма эффективны. Лишь 10–20% энергии тратится на охлаждение и другие накладные расходы^[7].↲Google: Эффективность: Как мы это делаем.↳ Чтобы представить, сколько энергии использует каждый сервер, мы можем посмотреть на концепт «дата-центра в контейнере» 2005 года. Не вполне ясно, используют ли они эти контейнеры на практике — возможно, это лишь устаревший эксперимент, — но он дает нам представление о том, что они считают (или считали) разумным энергопотреблением. Ответ: 215 ватт на сервер.

Судя по этим цифрам, в 2010 году под управлением Google находилось около миллиона серверов.

С тех пор они изрядно выросли. К концу 2013 года сумма денег, вложенных в дата-центры, превысит затраты 2010 года в три или четыре раза. Компания заключила договор на приобретение более трёхсот мегаватт мощности только для трёх узлов^[8]↲Google: Приобретение чистой энергии.↳ — это уже больше, чем все её энергозатраты 2010 года.

Основываясь на энергопотреблении серверов и оценке денежных затрат, я бы предположил, что Google сейчас использует (или скоро будет использовать) от 1,8 до 2,4 миллиона серверов.

Но что представляют из себя эти «серверы» в действительности? Google может ставить безумные эксперименты, запуская пульты с сотней ядер или сотней дисков. Если предположить, что каждый сервер имеет пару^[9]↲Где-то от 2 до 5.↳ двухтерабайтных дисков, мы получим без малого 10 эксабайт^[10]↲В качестве напоминания — порядок такой: кило, мега, гига, тера, пета, экса, зетта, йотта. Эксабайт — это миллион терабайт.↳ активного хранилища, подключенного к работающим кластерам.

10 эксабайт

Производители жёстких дисков для коммерческого использования ежегодно отгружают таковых суммарной ёмкостью до 8 эксабайт^[11].↲IDC: Доход мировых производителей внешних дисковых систем хранения снижается второй квартал подряд.↳ Сюда необязательно относятся компании вроде Google, но, так или иначе, у Google наверняка высокий спрос на мировом рынке жёстких дисков.

Хуже того: из-за гигантского количества подконтрольных Google дисков очередной из них «умирает» каждые несколько минут^[12].↲Эдуардо Пинейро, Вольф-Дитрих Вебер и Луи Андре Барросо «Тенденции отказа системы дисков большой численности».↳ Это не слишком затратно, чтобы стать проблемой — по большому счёту, они просто становятся лучше в замене дисков, — но странно понимать, что работник Google, запуская код, будет знать: когда выполнение закончится, на одном из компьютеров, где код работал, вероятно, откажет жёсткий диск.

Накопители на магнитных лентах в Google

Конечно, это касается только накопителей, присоединённых к работающим серверам. А как насчёт «замороженных»? Кто знает, сколько данных Google — или кто-нибудь ещё — хранит в подвальных архивах?

В телефонном интервью 2011 года с Полом Мэхом из SMB Tech и Саймоном Андерсеном из Tandberg Data они проболтались^[13],↲SMB Tech: Подходит ли магнитная лента малому и среднему бизнесу?↳ что Google — крупнейший потребитель картриджей с магнитной лентой и приобретает их около 200 000 в год. Предположив, что они увеличили закупки с тех пор, как расширились, можно добавить ещё несколько эксабайт архива на магнитной ленте.

Собираем всё воедино

Предположим, что ёмкость Google — 15 эксабайт, или 15 000 000 000 000 000 000 байт.

Перфокарта хранит около 80 символов, а в коробке 2000 карт:

Пятнадцати эксабайт перфокарт хватит, чтобы покрыть мою родину, Новую Англию, слоем толщиной около 4,5 километра. Это в три раза больше, чем толщина ледяного покрова над регионом в последний ледниковый период.

Кажется, это много.

Однако это ничто по сравнению со смехотворными заявлениями в некоторых новостях о дата-центре АНБ в штате Юта.

Дата-центр АНБ

Агентство национальной безопасности строит дата-центр в штате Юта. Средства массовой информации заявляют, что он может содержать до йоттабайта данных^[14],↲CNET: АНБ хранит йоттабайты данных в дата-центре штата Юта.↳ что явно абсурдно.

В дальнейших новостях они поменяли своё мнение, говоря о том, что объект может содержать только порядка 3–12 эксабайт^[15].↲Forbes: По чертежам смехотворно дорогого дата-центра в штате Юта можно предположить, что он содержит меньше данных, чем ожидалось.↳ Мы также знаем, что предприятие расходует примерно 65 мегаватт^[16],↲Salt-Lake City Tribune: Дата-центр АНБ в Блаффдэйле не будет пожирать питание Юты.↳ что сравнимо с потреблением большого дата-центра Google.

Несколько заголовков вместо того, чтобы выбрать ту или иную оценку, анонсировали, что объект может содержать «от эксабайта до йоттабайта» данных…^[17]↲Dailykos: Дата-центр в штате Юта хранит от 1 эксабайта до 1 йоттабайта данных.↳ Это примерно как говорить «полагают, что сбежавшая змея была длиной от 1 миллиметра до 1 километра».

Дальнейшее раскрытие секретов Google

При помощи многих хитростей можно раскопать информацию о работе Google. По иронии судьбы, немалая их часть требует использование самого Google — от поиска объявлений о вакансиях в странных городах до использования поиска по изображениям, чтобы найти просочившиеся в сеть фотографии с мобильника после посещения дата-центра.

Однако наилучшим приёмом для обнаружения секретных технических сооружений Google может быть тот, который раскрыл бывший работник Google talentlessclown на сайте reddit^[18]:↲reddit: Может ли r/Australia помочь найти дата-центр Google в Сиднее? Кажется немного таинственным….

Самый лёгкий способ найти дата-центр Google, в котором работают люди, — спросить таксистов и доставщиков пиццы.

В этом есть что-то возвышенное. Google создал, наверное, наиболее сложный аппарат по сбору информации в истории… но люди, которые знают больше всего о них, — это развозчики пиццы.

Кто устережёт самих сторожей?

^[#]↲Примерный перевод с латыни: «Кто доит молочников?» Намёк на изречение из предыдущего абзаца, являющееся устоявшимся переводом фразы «Quis custodiet ipsos custodes?». — Прим. пер.

По-видимому, Dominoʼs^[#].↲Игра слов: Dominoʼs — популярная сеть пиццерий; в то же время намёк на слово Domini (Всевышний). — Прим. пер.