George Lee's blog

今天看到消息，Amazon EC2 已經開始提供兩個新的 instance type，給 CPU 需求量較大的人使用。新的 instance type 分別是：

• $0.2/hour，1.7G ram，5 個 EC2 computing units，32bit platform
  
• $0.8/hour，7G ram，20 個 EC2 computing units，64bit platform

如果 application 是 CPU-bound 的話，也許新種的 instance type 會比較合用。不過我倒是比較希望看到，只要 $0.05/hour 的 mini-instance，這樣對 prototyping 比較合適 :p

Anyway，EC2 網站上也已經公告新的 instance type 了。

我還滿好奇的，NetApp 怎麼還沒倒啊？

大家都知道，Amazon 提供的 webservices 搭配起來可以多強多猛。EC2 + S3 + SQS + SimpleDB 簡直就是無敵。但是問題在 EC2 的 instance 上面，沒有可靠的儲存裝置可以使用。S3 雖然很保險，可是操作 S3 沒有辦法像操作 filesystem 那樣方便，而 S3 的 latency 也不允許一層 FUSE 的介面操作。

上個月 Amazon 公佈說，將來會開始支援 persistence storage 了。你可以動態要求任意大小的單位容量 - 小從 1 GB 大到 1TB - 而且還不限制單位數目。也就是說你可以輕輕鬆鬆要好幾個 1TB 的儲存單位，放置你想放的東西。還支援 snapshot 備分到 S3 上面，達到更強固的備分效果。Amazon 的 Jeff Barr 也在他們官方的 blog 上面貼了一篇簡單教學，告訴你應該怎麼操作。

聽起來很棒對不對？真的是很棒。可惜現在 API 還沒有正式上線。這段時間如果覺得需要 persistent storage 的人，就只能自己硬幹了。... 可是我沒想到這年頭還真的有人這麼熱血！XD

今天在這邊看到一篇文章，是一篇完整的 howto，用 DRBD、LVM、Heartbeat 等元素組出來一套建構在 EC2 上面的「persistent storage」。雖然說是 persistent 但是畢竟不如 Amazon 官方製作的一般，可以完全獨立於 EC2 instance 以外。但是大部分功能都已經很齊備了，諸如 failover、redundancy、snapshot 等功能一應俱全。雖然建構起來頗費工夫，但是對於已經需要上線運作 (換句話說沒空等 Amazon 官方 release 的 solution)、又很擔心資料完整性的人，倒是很適合的。

話說回來，等到 Amazon EC2 官方版的 persistent storage 上線以後，還有多少人要買 NetApp？XD 這年頭買 NetApp，根本已經完全不符合成本效益了。

Amazon EC2 確實便宜大碗，但是之前最為人所詬病的，就是必須用 CNAME 或是 dyndns 的方式來指定 domain name。今天收到信，現在 Amazon 推新版的 EC2 API，終於提供了 static IP 的功能，還讓人可以自由選擇自己的 instance 要開在哪個機房的 cloud 中。

雖然機房位置可以選的並不多，static IP 也只提供一組，不過已經是不小的進步了。

詳細資訊可以看：

• EC2 static IP Feature Guide
• EC2 Availability Zone Feature Guide
• Amazon EC2 官網

對 developer 來說，Amazon S3 解決了許多大量檔案儲存的問題。但是對一般 user 而言，如果只是要備份一些小東西，比較少有人特別寫 script 來專門做備份、monitor 自己有哪些檔案。今天亂翻資料的時候，倒是看到一個 S3fox 的好東西。

S3fox 是一個 firefox 的 extension，可以在 firefox 理面瀏覽自己的檔案、拖拉上傳，也可以替你建立子目錄、進行目錄的 sync 來做備份。(開子目錄是 Amazon S3 不支援的 API，我猜是 S3fox 模擬出來的虛擬目錄吧...)



對一般用戶來說，倒是滿好用的。

[Update 2008/03/02] 我還真是後知後覺，今天才知道 infiniteFTP 這種東西。看起來很好用啊...

大概是受不了大家狂抽猛送了 XD

話說第一次看到 Amazon Simple Queue Service 的時候，發現他的計價單位是以傳送的 queue message 來計算，而不是以 request 數量。當時的直覺反應就是：既然這樣誰還要管什麼 messaging 架構？如果有多種 system 之間需要溝通，直接往 SQS 塞就好，其他都不用煩惱。反正另一邊只管狂 poll，不斷查詢有沒有給自己的新訊息就可以了 XD 反正查詢不用錢嘛！

Amazon 大概是受害甚深，現在公佈要「調降」價格了：以前是每 1000 個 message 算 $0.01 美金，現在變成每 10000 個 request $0.01 美金。換句話說，如果還是用老方式狂 poll amazon 的機器的話，用新的方案就會比較貴；如果自己乖一點，有適當的 backoff 機制的話，新方案或許就會比較便宜。

新的價格也已經 announce 在 SQS 官方網頁上了。不過這個消息公佈到定價調整之間沒有什麼空檔，倒是稍嫌過分了點。至少也該讓惡搞的人有點時間改程式嘛。論語也教我們，「不教而殺謂之虐」啊。

假降價之名，其實是在告訴大家「別再操我們的機器了！不要亂搞我們的服務！」
這也算是典型的以價制量吧 :p

Amazon 快要一統江湖了。

剛剛一邊泡茶，一邊在 AWS 翻查 EC2 和 SQS 的資料的時候，突然發現旁邊的 webservices 多了一個以前沒看過的 Simple DB... 愣了一下，腦海裡響著：「前陣子才在想 Amazon AWS 系列獨缺 DB 一塊，怎麼這麼快就補上來了？」馬上點下去看，發現原來確實是今天剛出的 Orz 果然早起的鳥兒有蟲吃啊...

話說 SimpleDB 不像 RDBMS 一樣支援那麼強大的 Query 方式，提供的是基本的 =、!=、<、>、<=、>=、STARTS-WITH、AND、OR、NOT、交集和聯集等查詢條件。但是好處是你不再需要一個經驗豐富的 DBA 來替你處理 DB schema 和 indexing，也不用考慮 scalability 和 load balancing，這些全部交給 amazon 煩惱就好。對於資料關聯不複雜、處理 database 經驗不足的開發者來說是不小的誘因。

不過話說回來，這個 SimpleDB 目前還在 limited beta 階段，白老鼠有限，不曉得還有沒有什麼怪地雷還沒被踩過。另一方面來說，目前的版本還是有些限制：每個人只能開 100 個 domain (可以把 domain 想像成 table)，一個 domain 只能放 10G 的資料。然後每個 attribute (可以想像成 column) 最高只能 1024 bytes。最後，不論 10G 的限制有沒有達到，一個 domain 不能有超過 2500 萬個 attributes。

這對於真正希望 SimpleDB 替他解決 scalability 的人來說不是很好的消息。不過目前 SimpleDB 才剛推出，或許將來這些限制也會慢慢被降低。整體來說，SimpleDB 對於喜歡用 Berkeley DB 的 lightweight、不愛 MySQL 這種重量級大砲的人來說，倒是個很好的 solution。尤其 Berkeley DB 處理多台電腦 access 資料的 solution 不多，而且 SimpleDB 提供的功能遠比 Berkeley DB 強大。

看來，以後有志於 web startup 的人，根本不需要具備太多 scalability 的技巧。只要有一些 common sense，租一台 EC2，需要 storage 就用 S3，需要處理不同架構間的 IPC 就用 SQS，要存資料就放 SimpleDB... 你還需要些什麼？Amazon 根本就已經把 solution 都做好給你了。

不過，相對於 Amazon S3、Amazon EC2、Amazon SQS 的價廉物美來說，Amazon SimpleDB 的價格略嫌貴了一些，我想我應該會等他降價再來考慮看看吧。

[Update] 果然是 Limited beta，我想申請的時候居然跟我說：「The Limited Beta will be opened to the public in the next few weeks. We will contact you via e-mail when the beta program opens and a spot becomes available.」原來根本還沒開始賣啊？=_=

上次說到 6/23 在 Seattle 有個 Conference on Scalability，昨天發現這些影片早就已經上線了。對於跟我一樣沒有參加 conference 卻對主題內容有興趣的人來說，可真是方便啊...

我把影片跟各個 session 的順序整理一下，一來自己需要，二來有興趣的人也可以直接取用 :)

• Keynote I : Google 的 Jeff Dean 講 Map/Reduce、BigTable、和 handling large datasets 的問題
• Keynote II: Google 的 Marissa Mayer (first female engineer in Google) 談 Scaling Google for Every User
• Cluster File Systems 的創辦人 Peter Braam 談 Lustre FS，linux 下的 cluster FS
• University of British Columbia 的 Brad Penoff 等人談 SCTP 怎麼改善 Reliability 和 Fault tolerence
• Symantec 的 Ryan Gerard 講 Scalable Test Selection Using Source Code Deltas
• VeriSign 談他們的 Global DNS 架構
• Google 的 Barry Brummit 談 Map/Reduce 怎麼用在大規模 geographic 資料上面
• Amazon 的人談建立無限擴充的 datastore 碰到的瓶頸和困難 (想必是 S3 的前身) - 這個影片找不到？超可惜的說 >_<
  
• YouTube 的 Cuong Do 談 YouTube 怎麼撐到目前的 scale
  

Bon appetite.

剛剛看到消息，Google 的 Conference on Scalability 目前開始接受報名了，這次 conference 地點在西岸的 Seattle，時間是 6/23。稍微看了一下 Keynote speaker，陣容頗不錯啊，個個大有來頭。講的主題也不少，關於

• Google 內的 Map/Reduce、BigTable
• VeriSign 的 Global DNS
• Amazon 的 "無限擴充容量" (大概是談 S3 的 implement 吧？XD)
• 以及 YouTube 的 scalability 等等。

實在很多有趣的東西啊...

好的研討會就應該幫忙廣告一下，報名連結在此。