Google Cloud Platform – Storage

Trong bài viết này mình sẽ giới thiệu tổng quan về Storage của GCP:
1. Google Cloud Storage là gì?
2. Các tính năng của Google Cloud Storage
3. Các tùy chọn lưu trữ của Google Cloud Storage
4. Kết luận

I. Google Cloud Storage là gì?

• Cloud Storage là một dịch vụ được quản lý để lưu trữ dữ liệu phi cấu trúc. Lưu trữ bất kỳ lượng dữ liệu nào và truy xuất dữ liệu đó bao nhiêu lần tùy thích.
• Theo Statista, Google Cloud đã tạo ra doanh thu 20,67 tỷ bảng Anh vào năm 2022

II. Các tính năng của Google Cloud Storage

Google Cloud Storage cung cấp nhiều tính năng để lưu trữ, chia sẻ và quản lý dữ liệu một cách hiệu quả và đáng tin cậy:

1. Leading analytics and ML/AI tools

Sau khi dữ liệu được lưu trữ trong Cloud Storage, hãy dễ dàng kết nối với các công cụ mạnh mẽ của Google Cloud để tạo data warehouse with BigQuery, chạy open source analytics bằng Dataproc hoặc xây dựng và triển khai machine learning (ML) models bằng Vertex AI.

2. Automatic storage class transitions

Với các tính năng như Object Lifecycle Management (OLM) và Autoclass, bạn có thể dễ dàng tối ưu hóa chi phí bằng cách sắp xếp đối tượng trên các lớp lưu trữ. Ở bucket level, bạn có thể kích hoạt tính năng di chuyển đối tượng tự động dựa trên chính sách sang các lớp lưu trữ lạnh hơn dựa trên thời gian truy cập gần đây nhất. Không có phí xóa hoặc truy xuất sớm cũng như phí chuyển đổi lớp đối với quyền truy cập đối tượng trong các lớp lưu trữ cũ hơn.

3. Continental-scale and SLA-backed replication

Dual-region buckets hỗ trợ nhiều khu vực. Trong trường hợp mất điện, các ứng dụng sẽ truy cập liền mạch vào dữ liệu ở khu vực thay thế. Không có quá trình chuyển đổi dự phòng và chuyển đổi dự phòng. Đối với các tổ chức yêu cầu độ sẵn sàng cao, tính năng turbo replication với các nhóm vùng kép cung cấp SLA Mục tiêu Điểm khôi phục (RPO) trong 15 phút.

4. Use Cloud Storage as a local filesystem

Là lựa chọn phổ biến để lưu trữ training data, models và điểm kiểm tra cho các dự án machine learning trong nhóm Cloud Storage. Với Cloud Storage FUSE, bạn có thể tận dụng quy mô, khả năng chi trả, thông lượng và tính đơn giản mà Cloud Storage cung cấp, đồng thời duy trì khả năng tương thích với các ứng dụng sử dụng hoặc yêu cầu ngữ nghĩa hệ thống tệp. Cloud Storage FUSE hiện cũng cung cấp bộ nhớ đệm, giúp đào tạo nhanh hơn tới 2,2 lần và thông lượng đào tạo cao hơn 2,9 lần so với các trình tải dữ liệu khung ML gốc.

5. Manage your object storage with file inventory reports

Ví dụ như lớp object’s storage class, ETag và content type. Thông tin này giúp bạn phân tích chi phí lưu trữ, kiểm tra và xác thực các đối tượng của mình, đồng thời đảm bảo tính tuân thủ và bảo mật dữ liệu. Bạn có thể xuất báo cáo kho hàng dưới dạng tệp giá trị được phân tách bằng dấu phẩy (CSV) hoặc Apache Parquet để có thể phân tích sâu hơn bằng các công cụ, chẳng hạn như BigQuery. Tìm hiểu thêm về báo cáo khoảng không quảng cáo của Storage Insights.

6. Default and configurable data security

Cloud Storage cung cấp các tính năng secure-by-design để bảo vệ dữ liệu của bạn cũng như các chức năng và khả năng kiểm soát nâng cao nhằm giữ dữ liệu của bạn ở chế độ riêng tư và bảo mật khỏi bị rò rỉ hoặc xâm phạm. Các tính năng bảo mật bao gồm access control policies, data encryption, retention policies, retention policy locks, and signed URLs.

7. Object lifecycle management

Define conditions kích hoạt việc xóa dữ liệu hoặc chuyển sang lớp lưu trữ rẻ hơn.

8. Object Versioning

Store các bản sao cũ của đối tượng khi chúng bị xóa hoặc ghi đè.

9. Retention policies

Xác định retention periods tối thiểu mà các đối tượng phải được lưu trữ trước khi có thể xóa được.

10. Object holds

Place a hold để ngăn việc xóa đối tượng đó.

11. Customer-managed encryption keys

Mã hóa dữ liệu đối tượng bằng encryption keys được Dịch vụ quản lý khóa đám mây lưu trữ và do bạn quản lý.

12. Customer-supplied encryption keys

Mã hóa dữ liệu đối tượng bằng encryption keys do bạn tạo và quản lý.

13. Uniform bucket-level access.

Control access thống nhất quyền truy cập vào tài nguyên Cloud Storage của bạn bằng cách vô hiệu hóa ACL đối tượng.

14. Requester pays

Yêu cầu accessors of your data bao gồm ID dự án để lập hóa đơn cho phí mạng, phí vận hành và phí truy xuất.

15. Bucket Lock

Bucket Lock cho phép bạn định cấu hình chính sách lưu giữ dữ liệu cho vùng lưu trữ trên Cloud Storage để quản lý thời lượng các đối tượng trong vùng lưu trữ phải được giữ lại.

16. Pub/Sub notifications for Cloud Storage

Gửi notifications đến Pub/Sub khi đối tượng được tạo, cập nhật hoặc xóa.

17. Cloud Audit Logs with Cloud Storage

Maintain nhật ký hoạt động của quản trị viên và nhật ký truy cập dữ liệu cho tài nguyên Cloud Storage của bạn.

18. Object- and bucket-level permissions

Cloud Identity and Access Management (IAM) cho phép bạn kiểm soát ai có quyền truy cập vào bộ chứa và đối tượng của bạn.

III. Các tùy chọn lưu trữ

Ví dụ

• Standard: một công ty truyền thông có thể sử dụng Standard Storage để lưu trữ và phân phối nội dung video độ phân giải cao cho người dùng của họ, đảm bảo truyền phát liền mạch với tình trạng giật tối thiểu.
• Nearline: có thể là một công ty lưu trữ báo cáo tài chính hàng tháng. Những báo cáo này không bắt buộc phải thực hiện hàng ngày nhưng có thể cần được truy cập vào cuối mỗi tháng tài chính.
• Coldline: có thể là một doanh nghiệp lưu trữ hồ sơ thuế hàng năm. Những dữ liệu đó không cần phải được truy cập thường xuyên nhưng rất quan trọng để giữ lại cho mục đích tuân thủ.
• Archive: kho lưu trữ có thể được sử dụng bởi các tổ chức nghiên cứu cần lưu giữ khối lượng lớn dữ liệu nghiên cứu thô trong nhiều năm, ngay cả khi họ hiếm khi cần truy cập vào nó.

IV. Kết luận

1. Google Cloud Storage cung cấp một loạt giải pháp, mỗi giải pháp được điều chỉnh để đáp ứng các nhu cầu riêng biệt.
2. Xem xét các yếu tố như yêu cầu về hiệu suất và truy cập theo thời gian thực, bạn có thể chọn dịch vụ lưu trữ phù hợp với ứng dụng của mình.
3. Sự lựa chọn tối ưu có thể ảnh hưởng sâu sắc đến hiệu suất ứng dụng và thành công chung của doanh nghiệp.
4. Do đó, điều quan trọng là phải hiểu rõ từng tùy chọn Google Cloud Storage và luôn cập nhật những cải tiến liên tục của chúng, đảm bảo bạn đưa ra quyết định hỗ trợ tốt nhất cho các yêu cầu ngày càng phát triển của mình.

V. Reference

• https://ant.ncc.asia/google-cloud-platform-cloud-pub-sub-trigger/