Chuẩn hóa và tự động hóa quản lý vòng đời dữ liệu trong ngành ngân hàng

Là một trong những ngân hàng thương mại hàng đầu Việt Nam và tiên phong trong chuyển đổi số, Ngân hàng vận hành hệ thống cơ sở dữ liệu quy mô lớn, phục vụ khối lượng giao dịch phát sinh liên tục mỗi ngày. Cùng với sự gia tăng của dữ liệu, việc duy trì hiệu năng cho Production Database trở thành một trong những yêu cầu quan trọng của hoạt động vận hành. Trong khi đó, dữ liệu lịch sử vẫn cần được lưu giữ, quản lý và có khả năng tra cứu khi phát sinh nhu cầu.

Trước đây, quy trình dịch chuyển và lưu trữ dữ liệu chủ yếu được thực hiện thủ công. Các tác vụ được triển khai theo từng thời điểm, phụ thuộc nhiều vào DBA và chưa có một nền tảng tập trung để điều phối, giám sát và tổng hợp kết quả.

Điều này tạo ra nhiều áp lực trong vận hành:

• Quy trình chưa đồng nhất: Chưa có chính sách và quy chuẩn chung cho quản lý vòng đời dữ liệu.

• Phụ thuộc vào thao tác thủ công: Nhiều công đoạn phải được DBA thực hiện tuần tự.

• Khó giám sát: Việc theo dõi trạng thái, kiểm tra kết quả và xác định nguyên nhân khi phát sinh lỗi còn phụ thuộc vào kiểm tra thủ công.

• Thời gian xử lý kéo dài: Một chu kỳ xử lý dữ liệu có thể mất trung bình từ 4-8 giờ.

Khi khối lượng dữ liệu tiếp tục tăng, phương thức vận hành này khó đáp ứng yêu cầu về tốc độ, tính ổn định và khả năng mở rộng. Bài toán đặt ra là: làm thế nào để chuyển từ một quy trình xử lý dữ liệu thủ công sang một mô hình quản lý vòng đời dữ liệu tập trung, tự động và có khả năng kiểm soát xuyên suốt.

Hình 1. Quy trình quản lý vòng đời dữ liệu trước khi triển khai CILM

Từ hiện trạng đó, yêu cầu đặt ra là xây dựng nền tảng quản lý vòng đời dữ liệu tập trung: cấu hình theo chính sách, thực thi tự động theo lịch, có giám sát, báo cáo và cảnh báo để bảo đảm dữ liệu được xử lý đúng quy trình và có thể kiểm chứng.

Phạm vi triển khai tập trung vào ba nhóm yêu cầu chính:

Giải pháp Quản lý vòng đời dữ liệu tập trung - CILM

Trên cơ sở khảo sát hiện trạng và yêu cầu vận hành, HPT triển khai Giải pháp Quản lý vòng đời dữ liệu tập trung - CILM: nền tảng quản trị thống nhất, thay thế các thao tác thủ công bằng quy trình cấu hình theo chính sách và thực thi tự động theo lịch.

Quy trình tự động với hai luồng xử lý chính

1. Database to Database (D2D)

• Chuyển dữ liệu ít truy cập từ CSDL Production sang CSDL History tập trung theo chính sách đã cấu hình.

• Sau khi dữ liệu được chuyển thành công, hệ thống thực hiện kiểm tra, đối soát và xóa dữ liệu tại nguồn theo chính sách.

2. Database to File (D2F)

• Xuất dữ liệu từ CSDL History theo chính sách lưu trữ thành các định dạng tệp như dump, CSV (Comma-Separated Values), JSON (JavaScript Object Notation) hoặc XML (eXtensible Markup Language).

• Các tệp được lưu tại vùng tập trung có thể tích hợp với giải pháp sao lưu để chuyển sang Backup Storage, phục vụ nhu cầu lưu trữ dài hạn và khôi phục dữ liệu khi cần.

Một nền tảng, toàn bộ quy trình được kiểm soát

Thông qua CILM Web Console, người quản trị có thể theo dõi toàn bộ hoạt động quản lý vòng đời dữ liệu trên một giao diện tập trung. Từ việc thiết lập chính sách và lịch thực thi đến theo dõi trạng thái, kiểm tra số lượng bản ghi, quản lý tệp dữ liệu và tra cứu lịch sử tác vụ, mọi thông tin đều được tập trung trên cùng một nền tảng. Đặc biệt, hệ thống tự động gửi thông báo qua email khi tác vụ hoàn thành hoặc phát sinh lỗi, giúp đội ngũ vận hành nhanh chóng nắm bắt tình trạng và xử lý các trường hợp ngoại lệ.

Mô hình kiến trúc tổng thể giải pháp CILM

Báo cáo tác vụ thực thi hằng ngày

Danh sách tác vụ sẽ thực hiện và trạng thái của từng tác vụ

Hình ảnh thông tin các dump file

Nền tảng công nghệ phía sau giải pháp

Để đáp ứng yêu cầu về tự động hóa, tích hợp và vận hành ổn định, HPT triển khai CILM trên nền tảng các công nghệ gồm Apache Tomcat, SDM Platform, Groovy Script, API, JDBC/Oracle Net, Oracle Data Pump và SMTP. Các thành phần này đảm nhiệm các chức năng từ vận hành Web Console, điều phối tác vụ, kết nối cơ sở dữ liệu, xuất dữ liệu thành tệp đến gửi thông báo và cảnh báo qua email.

Kết quả nổi bật sau triển khai

Việc đưa CILM vào vận hành đã tạo ra những thay đổi rõ rệt trong hoạt động quản lý dữ liệu của Ngân hàng.

60 triệu bản ghi/ngày

Khối lượng dữ liệu được dịch chuyển đạt khoảng 60 triệu bản ghi mỗi ngày, thay cho mức khoảng 400 triệu bản ghi mỗi tháng trước đây.

40 tác vụ tự động/ngày

Khoảng 40 job được thực thi tự động mỗi ngày, thay thế phương thức xử lý không cố định trước đây.

3 phút cho một tác vụ

Thời gian xử lý trung bình giảm xuống còn khoảng 3 phút/job, tối đa 17 phút/job, so với chu kỳ xử lý trung bình 4–8 giờ trước triển khai.

95% mức độ tự động hóa

Khoảng 95% quy trình được tự động hóa, giúp DBA giảm đáng kể các thao tác lặp lại và tập trung vào giám sát, xử lý ngoại lệ.

98% - 100% tỷ lệ tác vụ thành công

Tỷ lệ tác vụ thành công đạt khoảng 98% trong lần vận hành đầu tiên và 100% ở các lần vận hành sau, với kết quả được báo cáo và kiểm soát tập trung.

Chỉ số	Trước triển khai	Sau triển khai
Khối lượng dữ liệu đã dịch chuyển	Khoảng 400 triệu bản ghi / tháng	Khoảng 60 triệu bản ghi/ngày
Tần suất thực thi tác vụ	Không cố định, 1 tháng hoặc vài tháng thực hiện một lần	Khoảng 40 job tự động/ngày
Thời gian hoàn tất một chu kỳ xử lý	Thời gian trung bình 4 giờ đến 8 giờ	Thời gian trung bình 3 phút/job, tối đa 17 phút/job
Thao tác thủ công của DBA cho mỗi chu kỳ	5 công đoạn thực hiện tuần tự và hoàn toàn thủ công	Tự động hóa đến 95%, DBA chỉ cần giám sát và xử lý ngoại lệ
Tỷ lệ tác vụ thành công	Khoảng 75–85%, dễ phát sinh sai sót khi thủ công	Đạt khoảng 98% trong lần chạy đầu và 100% về sau, có báo cáo và kiểm soát tập trung

Giá trị nổi bật của giải pháp

HPT – Đồng hành cùng doanh nghiệp trong quản trị dữ liệu

Với hơn 30 năm kinh nghiệm trong lĩnh vực Công nghệ thông tin và Truyền thông, HPT sở hữu năng lực trong phát triển phần mềm, tích hợp hệ thống, cơ sở dữ liệu và tự động hóa vận hành. HPT đã đồng hành cùng nhiều tổ chức trong các lĩnh vực có yêu cầu cao về hiệu năng, an toàn dữ liệu và tính liên tục của hệ thống như Tài chính – Ngân hàng, Chứng khoán, Bảo hiểm, Nhà nước và Sản xuất.

Đối với lĩnh vực Ngân hàng – Tài chính, kinh nghiệm triển khai các bài toán dữ liệu, tích hợp và tự động hóa giúp HPT hiểu rõ yêu cầu về hiệu năng, tính ổn định, khả năng kiểm soát và mở rộng trong môi trường vận hành quy mô lớn. Từ đó, HPT không chỉ cung cấp một giải pháp công nghệ mà hướng đến việc cùng doanh nghiệp chuẩn hóa quy trình, tối ưu vận hành và nâng cao năng lực quản trị dữ liệu trong dài hạn.

Tìm hiểu thêm về Giải pháp Quản lý vòng đời dữ liệu