cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?

Máy chủ to đùng bự như container, đó là thấy bên opera còn mediafire thì không biết.

 

cái này mình cũng chịu, xưa nay cũng thắc mắc

 

trước giờ cũng ít quan tâm thiết nghĩ nó lắp cái siêu máy tính với hàng ngàn ngàn cái thiết bị lưu trữ kho kho kho

 

chắc nó xây cái nhà rồi bỏ data vào ấy :smile:

 

gửi mail hỏi nó đi bro... Hehe...

 

Họ cũng vẫn dùng HDD như mình thôi bro, ko HDD thì là cái gì bây giờ . SSD thì quá mắc, trong khi dung lượng quá nhỏ. Băng từ rẻ, dung lượng lớn nhưng lại chỉ có thể đọc tuần tự, chỉ dùng đc cho công tác backup.

Nhưng họ ko sd HDD gắn trực tiếp lên máy như mình. Như vậy thì phải bao nhiêu cái máy, bao nhiêu server cho đủ. Họ dùng hoặc SAN (Storage Area Network). Những host nhỏ hơn, mang tính chất local như kiểu mega.1280.com, 4share.vn, megashare.vn ở VN mình thì vẫn dùng DAS (Direct-Attached Storage) như máy thường nhưng theo dạng Disk Storage Array, có những server storage có thể chứa đến 24-36 HDD.

Vấn đề performance thì đã có giải pháp RAID, thường là 1, 5, 6. Những máy quan trọng hơn thì có thể sử dụng RAID 10, 50, 60. Card mạng 1 Gigabit, 10 Gigabit, bonding các card lại để có throughput cao hơn. Và hệ thống file system chuyên dụng như Lustre...

Ngoài ra còn phải có các policy qui định phân loại data để định kỳ tự động xóa các file rác như file hạn lưu trữ quy định, file ko đạt được đủ lượng download...

 

Bác giải thích xong em còn hoang mang hơn nữa

 

Ví dụ như server của trang web Yousendit, chỉ lưu dữ liệu cho bác trong vòng 7 ngày kể từ khi khởi tạo. Đó cũng là 1 cách để nó giải phóng dữ liệu cho HDD.

 

Vấn đề là mediafire ko có limit ngày, nên dung lượng nó khổng lồ kinh khủng.
Chắc nó cũng đặt mấy trăm cái con SAN.
Ko biết tiền banner quảng cáo của nó có ăn nhằm gì với chi phí nó bỏ ra không nhỉ?

 

cty mềnh nhỏ nhỏ có nguyên 1 phòng lạnh teo "c" trong đó toàn là máy sv, chắc ko dưới 30 thùng, mềnh nghĩ quy mô càng lớn thj` càng nhìu máy thế thui.

 

Me too, bác DJ giải thích thêm tý nữa đi :adore:

 

Server tụi nó to lắm bác à .

 

Mấy cái này giải thích kỹ chắc phải đọc mấy cuốn sách mất nên mình nói đại khái xíu

Đầu tiên là vụ DAS (Direct-Attached Storage) và SAN (Storage Area Network). DAS là dạng lưu trữ mà thiết bị lưu trữ cắm trực tiếp vào máy như PC chúng ta hay dùng hàng ngày. SAN thì ko gắn trực tiếp trên máy đó. Có 2 kiểu SAN là iSCSI SAN và Fibre Channel SAN.

Chi tiết hơn 1 chút các bạn đọc thêm ở đây http://khanh.com.vn/post/2010/09/17/He-thong-luu-tru-DAS-NAS-SAN-iSCSI-SAN.aspx



Disk Storage Array thì cũng là DAS nhưng sẽ có các server lưu trữ thiết kế chuyên dụng để có thể chứa đc tới vài chục HDD/server. Các server này có thể được cấu hình để trở thành các node SAN.




RAID thì chắc mình ko cần phải nói nữa.

Bonding là kỹ thuật ghép 2 card mạng lại thành 1 để tận dụng băng thông cả 2 card vừa có khả năng failover. Vd 2 card 1Gb ghép lại, bên ngoài nhìn vào sẽ chỉ thấy 1 card 2Gb. Có thể loadbalance 2 card, có thể card này chết thì vẫn còn card kia, đảm bảo tính liên tục.

Còn Lustre thì hơi phức tạp. Đại khái nó là 1 cấu trúc hệ thống và là file system, chia hệ thống server ra làm 3 phần: Client, Metadata và storage.
Storage thì chứa cái gì các bạn biết rồi. Còn các server Metadata (thường chỉ cần 1 vài con) sẽ chứa các chỉ mục - đường link - cấu trúc, thuộc tính các file trong các server Storage. Còn các server Client sẽ là các server giao tiếp trực tiếp với user.

Vd: Tèo muốn download file MariaOzawa.mkv trên rapidshare. Tèo nhấn vào đường link là Tèo đang gởi request đến server Client. Server Client sẽ dựa vào server Metadata để biết file MariaOzawa.mkv này đang nằm ở Storage nào, cấu trúc đường dẫn (path) của file như thế nào rồi gửi request đến Storage đó truy cập vào file. Storage trả file lại cho Client. User download file từ Client. Nghe có vẻ lằng nhằng, lâu lắc, nhưng thực sự dùng cách này, tốc độ của hệ thống đc đẩy lên rất cao (do mỗi thằng chỉ làm 1 phần chuyên trách).

Các bạn cứ tưởng tượng nguyên 1 hệ thống trên thu nhỏ lại thành cái máy PC của bạn. Các ổ cứng trong máy bạn là các server Storage. Dữ liệu đc chứa trong các HDD này, trong các sector. Bạn đâu thể biết đc dữ liệu chứa ở đâu trong HDD, sector nào, cluster nào. Cái mà bạn thấy đc qua màn hình (Client) và đang tương tác với nó chỉ là các chỉ mục, sơ đồ (Metadata) các folder, các file nằm ở HDD nào, đường dẫn thế nào. Bạn nhấn mở 1 file nào đó thì máy tính sẽ tự động tìm đến vị trí chính xác của file đó đc lưu trên sector nào của HDD nào.

Layout cơ bản của 1 hệ thống Lustre:



Cách thức Metadata chỉ vào file lưu trữ trên Storage:

 

Bữa sau nếu bạn quan tâm mình sẽ có bài viết rõ hơn về vấn đề này ! profiles của tớ : http://httvn.thienanpc.com/profiles.png

 

sax, bác dilmah tự vẽ sơ đồ hay copy trên mạng mà hoành tráng vậy? thank bác nhiều nha

 

Mình đâu rảnh tự vẽ mấy cái trên mạng có đầy bro

 

server 5 giây hơn 600 chai coca mà die hoài thì server may đại gia đó khủng cỡ nào cho biết!

 

Server 5s là web + database server nên cấu hình khác bro. Ram nhiều để cache, CPU mạnh để thực hiện rất nhiều query, HDD nhanh, mạnh để có thể chịu đc thật nhiều CCUs (Concurrent Users).

Còn ở các server làm dv lưu trữ và ở mô hình lustre trên thì ko con nào phải mạnh đều giống server 5s hết.

Các Client cần Ram nhiều để cache, CPU dùng xeon P4 cũng đc, usage luôn thấp. HDD bình thường, băng thông mạng cần tương đối tùy theo kích thước hệ thống và số lượng user thực tế.

Metadata server cần CPU tương đối khá để query nhiều, HDD tương đối nhanh, lớn vừa vừa tùy thuộc Storage nhiều hay ít. Ram ko cần nhiều.

Storage cần băng thông mạng mạnh, bonding 2 NIC, hoặc dùng cable quang làm SAN luôn. HDD cần nhanh, mạnh, nhiều, băng thông lớn. CPU thì bt như Client, Ram cũng bt.

Đó là 1 số kiến thức mình biết, cao thủ nào đi ngang qua thấy mình chém gió lộn chỗ nào xin góp ý giúp. Chủ yếu là mọi người thảo luận để trau dồi hiểu biết

 

ai bảo bạn là MF ko limit ngày. ko có host nào ko limit dữ liệu up lên nó cả. chỉ có điều data đó thuộc loại như nào? và polocy nó áp cho loại data đó thế nào?
Nói chung thì vấn đề của bạn hỏi cũng hơi phức tạp, phải làm nhiều về bên host-server, system... thì sẽ biết rõ hơn. Kiếm mấy ông bên IBM hay là Unilevel mà hỏi áh . mà cũng chưa chắc người ta đã rõ đâu, tại mỗi host nó có cách thức hoạt động riêng của nó. ko dễ j biết đc đâu .