How Facebook’s cold storage preserves your old photos
Facebook has done a whole lot of work in order to keep your oldest and least popular photos neatly tucked away and ready to be served up whenever people want to look at them. Today Facebook is opening up about many of the ideas its infrastructure team has implemented in the two cold storage facilities it maintains at its data centers in Oregon and North Carolina.
People share 2 billion photos on Facebook’s services every day, so Facebook needs to store them efficiently. And Facebook has made improvements on hardware and software to deal with that scale.
FacebookのCold Storageによる古い画像ファイルの保管
Facebookは各ユーザーのもっとも古くて人気のない写真でさえも、丁寧に収納し誰かがこれを見たいと思ったらいつでも取り出せるようにするために、大変な努力をした。これまでFacebookのインフラチームが、オレゴンとノースカロライナのデータセンターにおける2つのcold storage設備について実施してきた改善案の多くを披露する。
毎日Facebook上で20億枚の画像がシェアされており、Facebookはこれらを効果的に保管しなければならない。Facebookはこの大規模な課題に対処するため、ハードおよびソフトの両面における改善を実施した。
Each big room, or data hall, inside the cold storage buildings, can currently handle 1 exabyte — a thousand petabytes, or a million terabytes, or a billion gigabytes, and every rack can take two petabytes, Facebook’s Krish Bandaru and Kestutis Patiejunas wrote in a blog post today.
Other web companies, like Google and Microsoft, have made extensive customizations on their infrastructure over the years, but Facebook has been the most transparent, launching the Open Compute Project to share its hardware designs with others in 2011. Facebook’s cold storage systems are one of many components of Open Compute.
Cold storageの建物内の個々の大きな部屋、またはデータホールでは現在1エクサバイト、すなわち1,000ペタバイトまたは1,000,000テラバイトまたは10億ギガバイトの情報処理が可能で、個々の棚には2ペタバイトを収容できると、本日FacebookのKrish Bandaru氏およびKestutis Patiejunas氏はブログに投稿した。
GoogleやMicrosoftなどのウェブ関連会社も、インフラ環境のカスタマイズ作業を近年大々的に実施してきたが、そんななかでもFacebookの取り組みは透明性は高く、2011年に他社とハード面の設計を共有するためにオープンコンピュートプロジェクトを立ち上げた。
But not every facet of the cold storage systems — which now “protect” hundreds of petabytes of data, according to the blog post — has been public until now.
Today’s blog post has several highlights:
・These facilities use just a quarter of power that traditional storage servers do.
・Facebook updated the firmware in the hard drive controller in order to make sure that only one drive gets turned on at a time.
・Facebook dropped the number of fans in each storage node from six to four.
・The number of power shelves decreased from three to one.
・The number of power supplies per shelf went down from seven to five.
-----------------
Read the full blog post to learn much more about Facebook’s cold storage facilities.
投稿記事によれば、現在では数百ペタバイトのデータを「保護」しているCold Storageシステムに関して，これまではすべての開発相をオープンにしてきたわけではないという。
本日のブログへの投稿にはいくつかのハイライトがあった。
・これらの設備は従来のストレージサーバーの4分の1程度の電力しか使わない。
・一度に1つのドライブのみが作動するように、ハードディスクコントローラーのファイムウェアをアップデートした。
・1ストレージノードあたりのファンの数を6から4に減少した。
・パワーシェルフは3台から1台に減少した。
・1シェルフあたりに必要な電源は7から5に減少した。
-----------------
FacebookのCold Storage設備のより詳細については投稿記事全文をお読みください。
・Facebook ran into a problem — the racks were too heavy for the system Facebook had to get them to the place where they needed to be. Here’s Bandaru and Patiejunas: “For example, one of our test production runs hit a complete standstill when we realized that the data center personnel simply could not move the racks. Since these racks were a modification of the OpenVault system, we used the same rack castors that allowed us to easily roll the racks into place. But the inclusion of 480 4 TB drives drove the weight to over 1,100 kg, effectively crushing the rubber wheels. This was the first time we’d ever deployed a rack that heavy, and it wasn’t something we’d originally baked into the development plan!”
Facebookが遭遇した問題―システムで動かすにはラックが重すぎた
Facebookはラックをあるべき場所へ移動させなければならなかった。Bandaru氏とPatiejunas氏によれはこうだ。「例として言えば、ある試運転でシステムが完全に停止してしまい、データーセンターの担当者がラックを動かすことができないことにこのとき気づいたんです。このラックはOpenVaultシステムの改良型なので，楽に移動できた元のラックと同じキャスターを取り付けました。ところが4 TBのドライブを480個積んだら全体重量が1,100 kg以上になってしまい、ゴム製の車輪が見事に潰れました。ここまで重いラックを配備したのは初めてでしたし、元の開発プランに含まれていたものでもなかったものですから。」
・Facebook wanted to store less than two copies of any given piece of data while still preventing data loss. The company ultimately devised a “re-encoding service that could reoptimize the data to support the next generation of cheap storage media, whether it was more reliable or less so,” Bandaru and Patiejunas wrote. “As a result, we can now store the backups for 1GB of data in 1.4GB of space — in previous models, those backups would take up larger amounts of data, housed across multiple disks. This process creates data efficiency while greatly increasing the durability of what’s being stored.”
・Facebook also created a system for rebalancing data across hardware.
・Facebookはいかなるデータについても、紛失は防ぎつつも2コピー以下の保管に収めたいと考えた。同社は最終的には、より安価な次世代メディア（信頼性がより高いか否かは問わず）に対応するよう最適化する再符号化法を考案した。「結果としてわれわれは、1GBのデータのバックアップを、従来のシステムでは大容量のデータを複数ディスクにわたって保管していたところ、1.4GB分のスペースに保管することができるようになりました。これはデータ処理を効率化するとともに、保管データの耐久性の大幅な向上にも寄与しました」とBandaru氏およびPatiejunas氏は書いた。
・Facebookはさらに、複数のハードウェアにわたってデータ容量の均等に振り分けるシステムも開発した。
