Tín dụng : Shutterstock
Dự báo thời tiết là một trong những thách thức về dữ liệu lâu đời nhất. Các nhà khoa học dữ liệu không ngừng khám phá cách các kỹ thuật mô hình hóa mới hoặc kiến trúc dữ liệu tốt hơn có thể cho phép dự báo kịp thời và nhanh chóng hơn . Người tiêu dùng có thể chỉ quan tâm đến việc nên mang theo ô hay kem chống nắng, nhưng dự báo thời tiết tốt hơn có thể giúp các doanh nghiệp thuộc mọi loại hình cải thiện hoạt động và giảm tác động của các hiện tượng thời tiết khắc nghiệt.
DTN, dịch vụ thời tiết tư nhân lớn nhất, gần đây đã tận dụng các dịch vụ tính toán hiệu suất cao mới của Amazon Web Services (AWS) để mở rộng đáng kể kích thước, độ chính xác và kịp thời của đường ống dự báo thời tiết . Những dự báo được cải thiện này đã cho thấy lợi tức cho các dịch vụ thông minh hoạt động của DTN cho nông nghiệp, vận tải biển, tiện ích và các ngành công nghiệp khác.
“Khả năng của chúng tôi trong việc sử dụng cơ sở hạ tầng có khả năng mở rộng điện toán cao và đám mây đang cải thiện khả năng của chúng tôi trong việc tận dụng các dự báo thời tiết hàng ngày”, phó chủ tịch hoạt động thời tiết của DTN, Renny Vandewege, nói với VentureBeat.
Vandewege nói rằng dữ liệu thời tiết hiện cung cấp cho thị trường trị giá 2 tỷ – 3 tỷ USD cho các dịch vụ tình báo hoạt động và đang phát triển nhanh chóng
Sự kết hợp của một số dịch vụ AWS mới đã giúp DTN mở rộng quy mô lượng dữ liệu mà nó xử lý từ terabyte thành petabyte mỗi ngày; tăng độ phân giải từ 10 km xuống “pixel” 1 km tốt hơn; và tăng số lượng dự báo từ hai dự báo mỗi ngày lên bốn dự báo mỗi ngày. DTN có kế hoạch cung cấp các bản cập nhật hàng giờ trong tương lai gần.
Chuyển sang đám mây
DTN bắt đầu chuyển nhiều cơ sở hạ tầng dữ liệu của mình sang đám mây AWS để giúp mở rộng quy mô dữ liệu và các dịch vụ thông minh hoạt động. Tuy nhiên, nó vẫn dựa vào các siêu máy tính được quản lý của riêng mình để cung cấp năng lượng cho tất cả các dự báo của mình. Trong vài năm qua, nhóm của Vandewege đã bắt đầu làm việc với Amazon về một bằng chứng về khái niệm để chạy các mô hình có độ phân giải cao bằng cách sử dụng các cụm song song.
Các cải tiến DTN mới tận dụng các phiên bản AWS Hpc6a mới được xây dựng cho khối lượng công việc máy tính hiệu suất cao (HPC) được kết hợp chặt chẽ. Điều này cho phép DTN lắp ráp một siêu máy tính ảo giữa các máy ảo chạy trên bộ xử lý AMD EPIC thế hệ thứ ba. Những sản phẩm này cũng mang lại tỷ lệ giá trên hiệu suất tốt hơn 65% so với các dịch vụ trước đó.
Đáng kể hơn, DTN sử dụng dịch vụ AWS Parallel Cluster để tự động cung cấp và quản lý các cụm HPC mới. Điều này đã giúp DTN tận dụng các kỹ thuật dự báo tổng hợp mới, trong đó kết quả của nhiều mô hình và các giả định ban đầu hơi khác nhau được tổng hợp thành một dự báo chính xác hơn.
Dự báo theo nhóm tận dụng lợi thế của thực tế là các mô hình dự báo thời tiết khác nhau hoạt động tốt hơn một chút trong các điều kiện khác nhau. Thay vì cố gắng cải thiện độ chính xác của một mô hình duy nhất cho mọi điều kiện, các nhà khoa học dữ liệu chạy nhiều mô hình song song và sau đó tổng hợp kết quả thành một dự báo duy nhất. Các kết quả dự báo tổng hợp này có xu hướng chính xác hơn trên nhiều vùng địa lý, khí hậu và điều kiện thời tiết.
Nhưng việc chạy nhiều mô hình đòi hỏi phải tìm cách tổng hợp dữ liệu thô từ vệ tinh, trạm thời tiết và radar, tạo ra các mô phỏng mới để chạy các mô hình khác nhau và sau đó đưa tất cả kết quả vào một dự báo chính thức. Cơ sở hạ tầng AWS mới cũng cho phép DTN mở rộng quy mô động các hoạt động dự báo của mình để ứng phó với các hiện tượng thời tiết khắc nghiệt như bão và lốc xoáy để giúp khách hàng của mình ưu tiên các hoạt động phòng ngừa và phục hồi.
“Chúng tôi đã làm việc với Amazon để chạy các mô hình này đủ nhanh để dữ liệu hữu ích,” Vandewege nói.
Tạo giá trị mới
DTN bắt đầu là một dịch vụ thông tin nông trại vào những năm 1980, được cung cấp qua radio tới các thiết bị đầu cuối video chuyên dụng, do đó tên gọi là ‘Mạng truyền dẫn kỹ thuật số’ sau này được viết tắt. Nó luôn tập trung vào thời tiết. Công ty đã trải qua một số thay đổi đáng kể trong những năm qua với sự phát triển của Internet và sự cạnh tranh từ các dịch vụ thời tiết khác. Nó xoay quanh các dịch vụ tình báo hoạt động cho các ngành công nghiệp khác nhau, được hỗ trợ bởi khả năng dự báo thời tiết cốt lõi của nó.
Ví dụ, công ty đã phát triển một đề xuất cho vận chuyển hàng hải để tối ưu hóa định tuyến và tốc độ bằng cách sử dụng một bộ đôi kỹ thuật số của các tàu cụ thể cùng với dữ liệu thời tiết và hải lưu chính xác.
“Việc cải thiện 5% hiệu suất nhiên liệu có thể đồng nghĩa với việc tiết kiệm hàng triệu hoặc thậm chí hàng tỷ đô la cho ngành trong suốt một năm,” Vandewege nói.
DTN cũng đã phát triển các mô hình bảo trì dự đoán mới để giúp các tiện ích ưu tiên thay thế hoặc làm cứng thiết bị có nhiều khả năng bị ảnh hưởng bởi sóng nhiệt, bão hoặc các sự kiện liên quan đến thời tiết khác.
Các dịch vụ mới này được hưởng lợi từ việc tìm ra những cách mới để kết hợp dữ liệu thời tiết chính xác hơn với thông tin khác. Ví dụ, các nhà khoa học dữ liệu DTN đã tái tạo lại các điều kiện thời tiết đi đôi với mất điện hoặc các loại lỗi thiết bị cụ thể trong thập kỷ qua.
Vandewege nói: “ Biến đổi khí hậu là một yếu tố rất quan trọng đối với chúng tôi. “DTN tập trung vào việc xem biến đổi khí hậu biểu hiện như thế nào dưới dạng rủi ro thời tiết và giúp các doanh nghiệp chuẩn bị cho những rủi ro thời tiết riêng lẻ đó và thực hiện hành động thích hợp.”
Các phương pháp tiếp cận mới để tạo và lập mô hình dự báo trên quy mô lớn sẽ chỉ tăng tầm quan trọng trong bối cảnh sự gia tăng không chắc chắn của biến đổi khí hậu, biến động chính trị và các cú sốc chuỗi cung ứng khác nhau.
nguồn venturebeat
English