Tìm kiếm bài viết theo id

cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?

Thảo luận trong 'Chuyện trò' bắt đầu bởi viquoc_ly, 20/2/11.

ID Topic : 2828727
Ngày đăng:
20/2/11 lúc 09:50
  1. viquoc_ly Thành Viên Cấp 4

    Tham gia ngày:
    5/12/08
    Tuổi tham gia:
    17
    Bài viết:
    1,887
    như tiêu đề, mình thấy mấy host nó lưu làm như nolimit luôn, như mediafire chẳng hạn, tại thử tính cho dù xài 1000 cái hdd 2T thì chừng 1,2 ngày cũng rụng, toàn thế giới thằng up 1 chút chịu j nổicho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?, còn băng thông mình xài ADSL củ chuối mà cũng 500kps, 1000 thằng cũng 500mbs, cái HDD nào mà read nổi tốc độ đó, SSD còn chịu không nổi, nhìu thằng xài cáp quang 25mbs thì không biết sao,P2P thì còn thấy hợp lý, ai chỉ giúp gà vớicho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 1
     
  2. _ponpon_ Thành Viên Cấp 5

    Máy chủ to đùng bự như container, đó là thấy bên opera còn mediafire thì không biết.
     
  3. chimcanhcut85 Thành Viên Chưa Kích Hoạt

    cái này mình cũng chịu, xưa nay cũng thắc mắc
     
  4. analogman Thành Viên Cấp 6

    trước giờ cũng ít quan tâm cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? thiết nghĩ nó lắp cái siêu máy tính với hàng ngàn ngàn cái thiết bị lưu trữ kho kho kho
     
  5. Phú Thành Viên Cấp 4

    chắc nó xây cái nhà rồi bỏ data vào ấy :smile:
     
  6. phucgia7689 Thành Viên Cấp 5

    gửi mail hỏi nó đi bro... Hehe...
     
  7. dilmah Thành Viên Cấp 4

    Họ cũng vẫn dùng HDD như mình thôi bro, ko HDD thì là cái gì bây giờ cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?. SSD thì quá mắc, trong khi dung lượng quá nhỏ. Băng từ rẻ, dung lượng lớn nhưng lại chỉ có thể đọc tuần tự, chỉ dùng đc cho công tác backup.

    Nhưng họ ko sd HDD gắn trực tiếp lên máy như mình. Như vậy thì phải bao nhiêu cái máy, bao nhiêu server cho đủ. Họ dùng hoặc SAN (Storage Area Network). Những host nhỏ hơn, mang tính chất local như kiểu mega.1280.com, 4share.vn, megashare.vn ở VN mình thì vẫn dùng DAS (Direct-Attached Storage) như máy thường nhưng theo dạng Disk Storage Array, có những server storage có thể chứa đến 24-36 HDD.

    Vấn đề performance thì đã có giải pháp RAID, thường là 1, 5, 6. Những máy quan trọng hơn thì có thể sử dụng RAID 10, 50, 60. Card mạng 1 Gigabit, 10 Gigabit, bonding các card lại để có throughput cao hơn. Và hệ thống file system chuyên dụng như Lustre...

    Ngoài ra còn phải có các policy qui định phân loại data để định kỳ tự động xóa các file rác như file hạn lưu trữ quy định, file ko đạt được đủ lượng download...
     
  8. huyenphong82 Thành Viên Cấp 5

    Bác giải thích xong em còn hoang mang hơn nữacho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 1
     
  9. ForeverinLove Thành Viên Cấp 5

    Ví dụ như server của trang web Yousendit, chỉ lưu dữ liệu cho bác trong vòng 7 ngày kể từ khi khởi tạo. Đó cũng là 1 cách để nó giải phóng dữ liệu cho HDD.
     
  10. dlmore Thành Viên Cấp 3

    Vấn đề là mediafire ko có limit ngày, nên dung lượng nó khổng lồ kinh khủng.
    Chắc nó cũng đặt mấy trăm cái con SAN.
    Ko biết tiền banner quảng cáo của nó có ăn nhằm gì với chi phí nó bỏ ra không nhỉ? cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?
     
  11. thanganhpc Thành Viên Cấp 2

    cty mềnh nhỏ nhỏ có nguyên 1 phòng lạnh teo "c" trong đó toàn là máy sv, chắc ko dưới 30 thùng, mềnh nghĩ quy mô càng lớn thj` càng nhìu máy thế thui.
     
  12. cry4loves Thành Viên Cấp 3

    Me too, bác DJ giải thích thêm tý nữa đi :adore:
     
  13. quynh_tran1 Thành Viên Bạch Kim

    Server tụi nó to lắm bác à .
     
  14. dilmah Thành Viên Cấp 4

    Mấy cái này giải thích kỹ chắc phải đọc mấy cuốn sách mất nên mình nói đại khái xíu cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?

    Đầu tiên là vụ DAS (Direct-Attached Storage) và SAN (Storage Area Network). DAS là dạng lưu trữ mà thiết bị lưu trữ cắm trực tiếp vào máy như PC chúng ta hay dùng hàng ngày. SAN thì ko gắn trực tiếp trên máy đó. Có 2 kiểu SAN là iSCSI SAN và Fibre Channel SAN.

    Chi tiết hơn 1 chút các bạn đọc thêm ở đây http://khanh.com.vn/post/2010/09/17/He-thong-luu-tru-DAS-NAS-SAN-iSCSI-SAN.aspx

    cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 1 cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 2

    Disk Storage Array thì cũng là DAS nhưng sẽ có các server lưu trữ thiết kế chuyên dụng để có thể chứa đc tới vài chục HDD/server. Các server này có thể được cấu hình để trở thành các node SAN.

    cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 3 cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 4
    cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 5

    RAID thì chắc mình ko cần phải nói nữa.

    Bonding là kỹ thuật ghép 2 card mạng lại thành 1 để tận dụng băng thông cả 2 card vừa có khả năng failover. Vd 2 card 1Gb ghép lại, bên ngoài nhìn vào sẽ chỉ thấy 1 card 2Gb. Có thể loadbalance 2 card, có thể card này chết thì vẫn còn card kia, đảm bảo tính liên tục.

    Còn Lustre thì hơi phức tạp. Đại khái nó là 1 cấu trúc hệ thống và là file system, chia hệ thống server ra làm 3 phần: Client, Metadata và storage.
    Storage thì chứa cái gì các bạn biết rồi. Còn các server Metadata (thường chỉ cần 1 vài con) sẽ chứa các chỉ mục - đường link - cấu trúc, thuộc tính các file trong các server Storage. Còn các server Client sẽ là các server giao tiếp trực tiếp với user.

    Vd: Tèo muốn download file MariaOzawa.mkv trên rapidshare. Tèo nhấn vào đường link là Tèo đang gởi request đến server Client. Server Client sẽ dựa vào server Metadata để biết file MariaOzawa.mkv này đang nằm ở Storage nào, cấu trúc đường dẫn (path) của file như thế nào rồi gửi request đến Storage đó truy cập vào file. Storage trả file lại cho Client. User download file từ Client. Nghe có vẻ lằng nhằng, lâu lắc, nhưng thực sự dùng cách này, tốc độ của hệ thống đc đẩy lên rất cao (do mỗi thằng chỉ làm 1 phần chuyên trách).

    Các bạn cứ tưởng tượng nguyên 1 hệ thống trên thu nhỏ lại thành cái máy PC của bạn. Các ổ cứng trong máy bạn là các server Storage. Dữ liệu đc chứa trong các HDD này, trong các sector. Bạn đâu thể biết đc dữ liệu chứa ở đâu trong HDD, sector nào, cluster nào. Cái mà bạn thấy đc qua màn hình (Client) và đang tương tác với nó chỉ là các chỉ mục, sơ đồ (Metadata) các folder, các file nằm ở HDD nào, đường dẫn thế nào. Bạn nhấn mở 1 file nào đó thì máy tính sẽ tự động tìm đến vị trí chính xác của file đó đc lưu trên sector nào của HDD nào.

    Layout cơ bản của 1 hệ thống Lustre:
    cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 6


    Cách thức Metadata chỉ vào file lưu trữ trên Storage:
    cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 7
     
  15. Hùng Trung Thịnh Thành Viên Cấp 2

  16. viquoc_ly Thành Viên Cấp 4

    sax, bác dilmah tự vẽ sơ đồ hay copy trên mạng mà hoành tráng vậy? thank bác nhiều nha
     
  17. dilmah Thành Viên Cấp 4

    Mình đâu rảnh tự vẽ mấy cái trên mạng có đầy bro cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?
     
  18. minhnguyen100287 Thành Viên Vàng

    server 5 giây hơn 600 chai coca mà die hoài thì server may đại gia đó khủng cỡ nào cho biết!
     
  19. dilmah Thành Viên Cấp 4

    Server 5s là web + database server nên cấu hình khác bro. Ram nhiều để cache, CPU mạnh để thực hiện rất nhiều query, HDD nhanh, mạnh để có thể chịu đc thật nhiều CCUs (Concurrent Users).

    Còn ở các server làm dv lưu trữ và ở mô hình lustre trên thì ko con nào phải mạnh đều giống server 5s hết.

    Các Client cần Ram nhiều để cache, CPU dùng xeon P4 cũng đc, usage luôn thấp. HDD bình thường, băng thông mạng cần tương đối tùy theo kích thước hệ thống và số lượng user thực tế.

    Metadata server cần CPU tương đối khá để query nhiều, HDD tương đối nhanh, lớn vừa vừa tùy thuộc Storage nhiều hay ít. Ram ko cần nhiều.

    Storage cần băng thông mạng mạnh, bonding 2 NIC, hoặc dùng cable quang làm SAN luôn. HDD cần nhanh, mạnh, nhiều, băng thông lớn. CPU thì bt như Client, Ram cũng bt.

    Đó là 1 số kiến thức mình biết, cao thủ nào đi ngang qua thấy mình chém gió lộn chỗ nào xin góp ý giúp. Chủ yếu là mọi người thảo luận để trau dồi hiểu biết cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy?
     
  20. kotexgiao Thành Viên Cấp 6

    ai bảo bạn là MF ko limit ngày. ko có host nào ko limit dữ liệu up lên nó cả. chỉ có điều data đó thuộc loại như nào? và polocy nó áp cho loại data đó thế nào?
    Nói chung thì vấn đề của bạn hỏi cũng hơi phức tạp, phải làm nhiều về bên host-server, system... thì sẽ biết rõ hơn. Kiếm mấy ông bên IBM hay là Unilevel mà hỏi áh cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 1. mà cũng chưa chắc người ta đã rõ đâu, tại mỗi host nó có cách thức hoạt động riêng của nó. ko dễ j biết đc đâu cho mình hỏi mấy host nó lưu data bằng gì mà khiếp zậy? - 2.
     

Tình hình diễn đàn

  1. congty24h88,
  2. hoale,
  3. toichunhchu930,
  4. compositekkp,
  5. chinhchu2258,
  6. tantrien,
  7. trucoanh2021,
  8. Ngocmai858
Tổng: 413 (Thành viên: 13, Khách: 386, Robots: 14)