Chương 22
Lâm Viễn tổng hợp tất cả các vấn đề thành hai điểm chính: tính toán và thu thập dữ liệu. Đối với vấn đề tính toán, Lâm Viễn luôn muốn biết hiệu suất thực sự của hệ thống này là bao nhiêu. Sức mạnh tính toán 1P của hệ thống này tương đương với bao nhiêu sức mạnh tính toán trong thế giới thực?
Trước đây, anh không có thiết bị tính toán chuyên dụng để kiểm thử, nhưng bây giờ, nhờ vào nhiệm vụ kiểm thử này, thiết bị tính toán của Good Team đã trở thành công cụ lý tưởng để sử dụng.
Phân viện Tử Kim của Good Team có một nền tảng kiểm thử sử dụng kết hợp giữa GPU H100 và A100, và Lâm Viễn đã thành công trong việc xin quyền sử dụng một chiếc GPU A100. Mặc dù A100 yếu hơn H100 khá nhiều, nhưng đây vẫn là một chiếc card đồ họa tính toán chính thức, hoàn toàn có thể vượt trội so với các loại card đồ họa máy tính thông thường như RTX hay HD trên thị trường.
Lâm Viễn đã tiến hành một bài kiểm thử chung đối với dữ liệu TF32, và kết quả cho thấy hiệu suất tính toán của A100 đối với dữ liệu này dao động ổn định ở mức trên 35T/S. Để hệ thống tính toán của mình đạt được hiệu suất tương đương, chỉ cần khoảng 10T/S là đủ.
Dựa trên kết quả này, Lâm Viễn cuối cùng cũng xác định được hiệu suất tính toán hiện tại của hệ thống mình: gấp khoảng ba lần so với sức mạnh tính toán trong thế giới thực. Nói cách khác, với cùng một đơn vị sức mạnh tính toán là 1T, hệ thống của anh tương đương với 3T sức mạnh tính toán trong thế giới thực.
Điều này có nghĩa là tỷ lệ chuyển đổi giữa sức mạnh tính toán của hệ thống và thế giới thực là 1:3.
Lâm Viễn bỗng nhiên cảm thấy như mình đang sống trong một quốc gia phát triển, trong khi cả thế giới thực lại thuộc về nhóm các quốc gia đang phát triển… Bởi vì sức mạnh tính toán của anh thật sự rất mạnh mẽ!
Tuy nhiên, ngay cả vậy, Lâm Viễn vẫn không mấy tin tưởng vào việc sử dụng hệ thống tính toán này để tối ưu hóa các thuật toán. Bởi vì tỷ lệ chuyển đổi này mới chỉ là 3 lần mà thôi; 1000P sức mạnh tính toán mà anh đã tích lũy được thì thực sự không đáng kể chút nào.
Nhưng dù sao, chỉ vì tò mò, anh vẫn quyết định thử xem sao.
Ngay lập tức, Lâm Viễn chuẩn bị tải một bộ dữ liệu đã được thu thập sẵn vào hệ thống tính toán của mình. Bộ dữ liệu này chứa thông tin về quá trình giao hàng thực tế của một nhóm lớn người giao hàng trong một khoảng thời gian nhất định.
Tuy nhiên, Lâm Viễn nhanh chóng gặp phải vấn đề: làm thế nào để nhập dữ liệu này vào hệ thống? Không gian lưu trữ của bộ dữ liệu quá lớn, lên đến 10G; chỉ dựa vào việc nhập dữ liệu bằng mắt thì s
**Hóa ra cậu ta không chỉ có thể nhập dữ liệu bằng mắt thôi đâu.**
Bỗng nhiên, Lâm Viễn nhận ra: Chẳng lẽ hệ thống này có liên quan đến thế giới thực sao?
Không kịp suy nghĩ thêm, Lâm Viễn đã bắt đầu quá trình huấn luyện mô hình AI của hệ thống với tâm trạng tò mò.
Anh thiết lập công suất tính toán ở mức 50T/S – một con số an toàn, không gây ra cảm giác chóng mặt cho anh.
Điều khiến Lâm Viễn ngạc nhiên là hệ thống chỉ mất khoảng một phút để hoàn thành việc huấn luyện dữ liệu. Với công suất 50T/S * 60 giây = 3000T, tức là chỉ tiêu thụ 3P sức mạnh tính toán mà thôi.
Trong khi đó, Lâm Viễn biết rõ rằng nếu A100 hoạt động ở mức công suất tối đa để thực hiện công việc tương tự, thì sẽ mất đến mười phút. Với công suất tối đa của A100 là 35T/S, thì trong mười phút, A100 sẽ tiêu thụ 35T/S * 600 = 21000T = 21P sức mạnh tính toán.
Nói cách khác, để hoàn thành cùng một lượng công việc, hệ thống tính toán chỉ cần 3P sức mạnh, trong khi A100 lại cần đến 21P. Vì giá trị sức mạnh tính toán của A100 được coi là tương đương với sức mạnh tính toán trong thế giới thực, nên ngay cả khi sử dụng thẻ tính toán H100, hiệu suất công việc có thể tăng lên, nhưng tổng lượng sức mạnh tính toán tiêu thụ vẫn sẽ không thay đổi.
Từ đó có thể suy luận rằng: Để xử lý bộ dữ liệu 10G này, 1P sức mạnh tính toán của hệ thống tương đương với 7P sức mạnh trong thế giới thực. Vậy tỷ lệ chuyển đổi sức mạnh tính toán này sẽ là 1:7.
Điều này không phù hợp với tỷ lệ 1:3 mà chúng ta đã từng thấy trước đây.
Mặc dù hệ thống này rất thần kỳ, nhưng cho đến nay, Lâm Viễn vẫn chưa phát hiện ra bất kỳ dấu hiệu nào cho thấy hệ thống này vi phạm các quy luật tự nhiên.
Quá trình huấn luyện mô hình AI thực chất chỉ là việc tính toán dữ liệu. Vì là tính toán dữ liệu, nên không thể có tình trạng lúc tính toán nhanh, lúc tính toán chậm; bởi vì loại dữ liệu mà Lâm Viễn sử dụng vẫn giữ nguyên, đều là TF32.
“Chẳng lẽ hệ thống tính toán này có khả năng thay đổi tốc độ làm việc sao? Đôi khi làm việc nhanh, đôi khi làm việc chậm?”
Với câu hỏi này, Lâm Viễn đã thử sử dụng hệ thống tính toán vào những thời điểm khác nhau để xử lý cùng một bộ dữ liệu. Anh thử trong lúc ăn cơm, khi đang ngồi xổm, trước khi đi ngủ… thậm chí cả khi đang xem phim… Nhưng kết quả cuối cùng vẫn luôn giữ nguyên: Mức tiêu thụ sức mạnh tính toán luôn ổn định.
“Chết tiệt, tỷ lệ chuyển đổi sức mạnh tí
Sau đó, Lin Yuan liên tục thay đổi các mẫu dữ liệu, và cuối cùng anh nhận ra rằng: tùy thuộc vào việc sử dụng mẫu dữ liệu nào, tỷ lệ tiêu hao sức mạnh tính toán lại thay đổi.
Chết tiệt, việc tỷ lệ tiêu hao sức mạnh tính toán thay đổi khi sử dụng các mẫu dữ liệu khác nhau là điều bình thường. Nhưng việc tỷ lệ này thay đổi thì thật là kỳ lạ. Sự thay đổi này có nghĩa là hệ thống tính toán hoạt động với hiệu quả khác nhau khi xử lý các mẫu dữ liệu khác nhau.
Điều này giống như việc một chiếc máy tính, khi chạy các chương trình khác nhau, tỷ lệ sử dụng CPU cũng sẽ khác nhau – điều này hoàn toàn dễ hiểu. Nhưng nếu chiếc máy tính đó lại thay đổi tần số xung nhịp CPU khi chạy các chương trình khác nhau, thì đó thực sự là điều phi khoa học.
“Này, hệ thống ơi, hãy nói cho tôi biết xem, liệu bạn có phải là một sinh vật sống trong không gian cao chiều không?”
“Những quy luật của thế giới ba chiều không thể giải thích được bạn đâu.”
“Aaaahhh~~~”
Cuối cùng, Lin Yuan buộc phải nghiên cứu sâu hơn về quá trình huấn luyện mô hình AI của hệ thống tính toán. Bởi vì khi một “hộp đen” xuất hiện vấn đề mà bạn không thể tìm ra nguyên nhân, thì bạn chỉ còn cách “đi sâu vào bên trong hộp đen đó” để tìm câu trả lời.
Mặc dù “hộp đen” này rất phức tạp…
Với tâm trạng lo lắng, Lin Yuan yêu cầu hệ thống hiển thị chi tiết quá trình huấn luyện.
“Điều này….”
Lin Yuan tròn mắt khi thấy trong hình ảnh AR xuất hiện trước mắt mình, những cấu trúc đại diện cho mô hình đang thay đổi liên tục.
Về bản chất, quá trình huấn luyện mô hình AI là sử dụng các card tính toán để xử lý dữ liệu đã được thu thập, sau đó đưa chúng vào một mô hình được thiết lập sẵn để tính toán.
Mô hình có thể được coi là một công thức. (Thậm chí, bạn còn có thể coi toàn bộ vũ trụ là một công thức nữa.)
Vì vậy, khi được đơn giản hóa đến mức cực độ, quá trình huấn luyện mô hình AI có thể được biểu diễn thành: y = f(x).
Trong đó:
- x là dữ liệu đã được thu thập.
- f là mô hình được sử dụng để xử lý dữ liệu đó.
- y là kết quả của quá trình tính toán.
Trong thực tế, quá trình huấn luyện mô hình AI thường bao gồm việc thay đổi các tham số của công thức f trong quá trình huấn luyện. Ví dụ: ban đầu f = 2x + 1, sau một thời gian huấn luyện, nó có thể trở thành f = 3x + 1. Nhưng tuyệt đối không thể xảy ra tình trạng f = 3x + 1/x + 1 trong quá trình huấn luyện, trừ khi con người cố ý thay đổi cấu trúc của mô hình rồi mới tiến hành huấn luyện lại.
Tuy nhiên, trong quá trình huấn luyện, hệ thống tính toán lại thực sự thay đổi cấu trúc của mô hình f. Điều
Chưa có truyện phù hợp.