How Facebook’s cold storage preserves your old photos
Facebook has done a whole lot of work in order to keep your oldest and least popular photos neatly tucked away and ready to be served up whenever people want to look at them. Today Facebook is opening up about many of the ideas its infrastructure team has implemented in the two cold storage facilities it maintains at its data centers in Oregon and North Carolina.
People share 2 billion photos on Facebook’s services every day, so Facebook needs to store them efficiently. And Facebook has made improvements on hardware and software to deal with that scale.
あまり見ることのないとても古い写真をきちんとしまっておき、ユーザが見たいと思ったときにすぐに呼び出して見られるように、Facebookがいろいろと力を尽くした。オレゴンとノースカロライナにあるFacebookのデータセンターには2つのコールドストレージが整備されていて、Facebookのインフラチームがそこでアイデアを実行してきた。Facebookは本日、そのアイデアの多数を発表している。
Facebookのサービス上では毎日20億枚の写真がシェアされるので、Facebookは効率的に保管する必要がある。そしてその規模に対処できるようハードウェアとソフトウェアに改良を加えた。
Facebookは各ユーザーのもっとも古くて人気のない写真でさえも、丁寧に収納し誰かがこれを見たいと思ったらいつでも取り出せるようにするために、大変な努力をした。これまでFacebookのインフラチームが、オレゴンとノースカロライナのデータセンターにおける2つのcold storage設備について実施してきた改善案の多くを披露する。
毎日Facebook上で20億枚の画像がシェアされており、Facebookはこれらを効果的に保管しなければならない。Facebookはこの大規模な課題に対処するため、ハードおよびソフトの両面における改善を実施した。
Each big room, or data hall, inside the cold storage buildings, can currently handle 1 exabyte — a thousand petabytes, or a million terabytes, or a billion gigabytes, and every rack can take two petabytes, Facebook’s Krish Bandaru and Kestutis Patiejunas wrote in a blog post today.
Other web companies, like Google and Microsoft, have made extensive customizations on their infrastructure over the years, but Facebook has been the most transparent, launching the Open Compute Project to share its hardware designs with others in 2011. Facebook’s cold storage systems are one of many components of Open Compute.
GoogleやMicrosoftなどのウェブ関連会社も、インフラ環境のカスタマイズ作業を近年大々的に実施してきたが、そんななかでもFacebookの取り組みは透明性は高く、2011年に他社とハード面の設計を共有するためにオープンコンピュートプロジェクトを立ち上げた。
GoogleやMicrosoft等他のWeb関連会社は長年にわたりインフラ整備の改良を大々的に行ってきた。一方、Facebookは最もオープンであり、2011年にはOpen Compute Projectを開始し、自社のハードウェア構築を他社と共有できる仕組みを作った。Facebookの冷却保管システムは数多くあるOpen Computeの要素の1つである。
But not every facet of the cold storage systems — which now “protect” hundreds of petabytes of data, according to the blog post — has been public until now.
Today’s blog post has several highlights:
・These facilities use just a quarter of power that traditional storage servers do.
・Facebook updated the firmware in the hard drive controller in order to make sure that only one drive gets turned on at a time.
・Facebook dropped the number of fans in each storage node from six to four.
・The number of power shelves decreased from three to one.
・The number of power supplies per shelf went down from seven to five.
-----------------
Read the full blog post to learn much more about Facebook’s cold storage facilities.
投稿記事によれば、現在では数百ペタバイトのデータを「保護」しているCold Storageシステムに関して，これまではすべての開発相をオープンにしてきたわけではないという。
本日のブログへの投稿にはいくつかのハイライトがあった。
・これらの設備は従来のストレージサーバーの4分の1程度の電力しか使わない。
・一度に1つのドライブのみが作動するように、ハードディスクコントローラーのファイムウェアをアップデートした。
・1ストレージノードあたりのファンの数を6から4に減少した。
・パワーシェルフは3台から1台に減少した。
・1シェルフあたりに必要な電源は7から5に減少した。
-----------------
FacebookのCold Storage設備のより詳細については投稿記事全文をお読みください。
今日のブログ投稿で、注目すべき記述がある。
・この設備は元来の保管サーバーの4分の1しか電力を消費しません。
・Facebookはハードドライブを制御するファームウェアを改良し、一度に1つのドライブのみ稼働するようにしました。
・Facebookは各ストレージの冷却ファンの数を6つから4つに減らしました。
・パワーシェルフの数を3つから1つに減らしました。
・各パワーシェルフの電源装置の数を7つから5つに減らしました。
Facebookの冷却保管設備について詳しくはブログの全文を参照のこと。
・Facebook ran into a problem — the racks were too heavy for the system Facebook had to get them to the place where they needed to be. Here’s Bandaru and Patiejunas: “For example, one of our test production runs hit a complete standstill when we realized that the data center personnel simply could not move the racks. Since these racks were a modification of the OpenVault system, we used the same rack castors that allowed us to easily roll the racks into place. But the inclusion of 480 4 TB drives drove the weight to over 1,100 kg, effectively crushing the rubber wheels. This was the first time we’d ever deployed a rack that heavy, and it wasn’t something we’d originally baked into the development plan!”
Facebookはラックをあるべき場所へ移動させなければならなかった。Bandaru氏とPatiejunas氏によれはこうだ。「例として言えば、ある試運転でシステムが完全に停止してしまい、データーセンターの担当者がラックを動かすことができないことにこのとき気づいたんです。このラックはOpenVaultシステムの改良型なので，楽に移動できた元のラックと同じキャスターを取り付けました。ところが4 TBのドライブを480個積んだら全体重量が1,100 kg以上になってしまい、ゴム製の車輪が見事に潰れました。ここまで重いラックを配備したのは初めてでしたし、元の開発プランに含まれていたものでもなかったものですから。」
・Facebook wanted to store less than two copies of any given piece of data while still preventing data loss. The company ultimately devised a “re-encoding service that could reoptimize the data to support the next generation of cheap storage media, whether it was more reliable or less so,” Bandaru and Patiejunas wrote. “As a result, we can now store the backups for 1GB of data in 1.4GB of space — in previous models, those backups would take up larger amounts of data, housed across multiple disks. This process creates data efficiency while greatly increasing the durability of what’s being stored.”
・Facebook also created a system for rebalancing data across hardware.
・Facebookはさらに、複数のハードウェアにわたってデータ容量の均等に振り分けるシステムも開発した。
・Facebookはハードウェア間でデータのバランスを調整するシステムも開発した。
