非官方的 Amazon EC2 persistent storage

我還滿好奇的,NetApp 怎麼還沒倒啊?

大家都知道,Amazon 提供的 webservices 搭配起來可以多強多猛。EC2 + S3 + SQS + SimpleDB 簡直就是無敵。但是問題在 EC2 的 instance 上面,沒有可靠的儲存裝置可以使用。S3 雖然很保險,可是操作 S3 沒有辦法像操作 filesystem 那樣方便,而 S3 的 latency 也不允許一層 FUSE 的介面操作。

上個月 Amazon 公佈說,將來會開始支援 persistence storage 了。你可以動態要求任意大小的單位容量 – 小從 1 GB 大到 1TB – 而且還不限制單位數目。也就是說你可以輕輕鬆鬆要好幾個 1TB 的儲存單位,放置你想放的東西。還支援 snapshot 備分到 S3 上面,達到更強固的備分效果。Amazon 的 Jeff Barr 也在他們官方的 blog 上面貼了一篇簡單教學,告訴你應該怎麼操作。

聽起來很棒對不對?真的是很棒。可惜現在 API 還沒有正式上線。這段時間如果覺得需要 persistent storage 的人,就只能自己硬幹了。… 可是我沒想到這年頭還真的有人這麼熱血!XD

今天在這邊看到一篇文章,是一篇完整的 howto,用 DRBD、LVM、Heartbeat 等元素組出來一套建構在 EC2 上面的「persistent storage」。雖然說是 persistent 但是畢竟不如 Amazon 官方製作的一般,可以完全獨立於 EC2 instance 以外。但是大部分功能都已經很齊備了,諸如 failover、redundancy、snapshot 等功能一應俱全。雖然建構起來頗費工夫,但是對於已經需要上線運作 (換句話說沒空等 Amazon 官方 release 的 solution)、又很擔心資料完整性的人,倒是很適合的。

話說回來,等到 Amazon EC2 官方版的 persistent storage 上線以後,還有多少人要買 NetApp?XD 這年頭買 NetApp,根本已經完全不符合成本效益了。

Amazon S3 firefox extension – S3fox

對 developer 來說,Amazon S3 解決了許多大量檔案儲存的問題。但是對一般 user 而言,如果只是要備份一些小東西,比較少有人特別寫 script 來專門做備份、monitor 自己有哪些檔案。今天亂翻資料的時候,倒是看到一個 S3fox 的好東西。

S3fox 是一個 firefox 的 extension,可以在 firefox 理面瀏覽自己的檔案、拖拉上傳,也可以替你建立子目錄、進行目錄的 sync 來做備份。(開子目錄是 Amazon S3 不支援的 API,我猜是 S3fox 模擬出來的虛擬目錄吧…)

s3fox

對一般用戶來說,倒是滿好用的。

[Update 2008/03/02] 我還真是後知後覺,今天才知道 infiniteFTP 這種東西。看起來很好用啊…

Google 的 Conference on Scalability

剛剛看到消息,Google 的 Conference on Scalability 目前開始接受報名了,這次 conference 地點在西岸的 Seattle,時間是 6/23。稍微看了一下 Keynote speaker,陣容頗不錯啊,個個大有來頭。講的主題也不少,關於

  • Google 內的 Map/Reduce、BigTable
  • VeriSign 的 Global DNS
  • Amazon 的 “無限擴充容量” (大概是談 S3 的 implement 吧?XD)
  • 以及 YouTube 的 scalability 等等。

實在很多有趣的東西啊…

好的研討會就應該幫忙廣告一下,報名連結在此