Gã khổng lồ công nghệ và truyền thông xã hội Meta đang có ý định xây dựng cái mà họ coi là cơ sở hạ tầng phần cứng và phần mềm vững chắc để thành công trong dài hạn khi họ tiến xa hơn vào AI và metaverse.
Trong hai tuần qua, Meta và bộ phận Meta AI của nó đã tiết lộ một loạt kế hoạch cho các sản phẩm và cơ sở hạ tầng nội bộ của mình, bao gồm siêu máy tính AI, trung tâm dữ liệu và nền tảng trợ lý mã hóa AI.
Công ty mẹ của Facebook cũng lần đầu tiên tiết lộ rằng họ đã tạo ra một con chip AI: Meta Training and Inference Accelerator (MTIA).
Ray "R" Wang, người sáng lập và nhà phân tích tại Constellation Research cho biết, việc Meta tập trung vào cơ sở hạ tầng là một dấu hiệu tốt cho sự phát triển và tuổi thọ của công ty.
“Meta đang ở đúng chỗ,” anh nói.
Wang cho biết khoản đầu tư này cho phép công ty chuyển hướng nhiều hơn sang AI và thoát khỏi sự tập trung cao độ của họ trong những năm gần đây vào thế giới đa dạng của các ứng dụng thực tế ảo và tăng cường, Wang nói.
Sự thay đổi hướng này diễn ra sau khi Meta chi khoảng 36 tỷ đô la để xây dựng siêu dữ liệu bằng cách bơm số tiền đó vào Bộ phận Phòng thí nghiệm Thực tế của mình. Nhưng bất chấp số tiền lớn mà nó đã chi cho bộ phận, Meta thu được rất ít lợi nhuận từ số tiền bỏ ra.
Tuy nhiên, sự cống hiến lại của Meta cho công nghệ AI không phải là một hướng đi hoàn toàn mới. Nó đã sử dụng các đề xuất AI và các hệ thống AI khác trong gần hai thập kỷ.
Ví dụ: nguồn cấp tin tức của Facebook, được cung cấp bởi AI từ lâu, đã được ra mắt vào năm 2005. Meta vào năm 2016 cũng đã tạo ra PyTorch , một khung máy học cho các mạng lưới thần kinh sâu và nghiên cứu học sâu làm nền tảng cho tất cả khối lượng công việc AI của Facebook, nguồn mở. Tháng 12 năm ngoái, Meta đã phát hành PyTorch 2.0.
Phó chủ tịch kỹ thuật Aparna Ramani của Meta cho biết trong một cuộc thảo luận trực tuyến tại hội nghị Meta's At Scale vào ngày 18 tháng 5: "Đây thực sự là một sự tiến hóa đối với chúng tôi. Điều đang thay đổi bây giờ là tốc độ đổi mới đang thực sự tăng lên nhanh chóng."
Wang cho biết, con đường hiện tại của Meta trong việc sử dụng tự động hóa và AI để tạo ra hiệu quả là "thông minh cho tương lai của họ" .
Ngay cả việc sa thải gần đây của Meta cũng là một bước đi đúng đắn cho tương lai của công ty, Wang nói, đồng thời cho biết thêm rằng công ty đã phần nào tràn ngập nhân tài và giờ đây có thể tập trung hơn vào việc thu hút nhân tài phù hợp.
Giám đốc điều hành Mark Zuckerberg cho biết vào tháng 3 rằng công ty đã lên kế hoạch cắt giảm khoảng 11.000 việc làm vào tháng 5. Một số vị trí đó đã bị loại bỏ vào tháng Tư. Các đợt sa thải khác sẽ đến vào tuần tới.
"Bây giờ họ phải ưu tiên làm gì với mạng của họ," Wang nói.
Mặc dù nó tập trung vào việc xây dựng một cơ sở hạ tầng vững chắc có thể phục vụ cả AI và các sáng kiến siêu dữ liệu, nhưng Meta có thể tiếp tục hoạt động lặng lẽ trên siêu dữ liệu mà không bị công chúng chú ý.
"Họ có thể làm cả hai cùng một lúc vì AI là nền tảng của metaverse," Wang nói. "Họ phải tăng cường cơ sở hạ tầng cho metaverse."
Chip AI tùy chỉnh
Đầu tiên trong việc xây dựng nền tảng đó là tạo ra một con chip silicon.
MTIA là chip tăng tốc tùy chỉnh nội bộ của Meta. Con chip này sẽ giúp gã khổng lồ công nghệ mang lại hiệu suất và hiệu quả tốt hơn cho từng khối lượng công việc với sự trợ giúp của GPU.
Với MTIA Meta nhằm cải thiện trải nghiệm người dùng trong các ứng dụng Facebook, Instagram và WhatsApp của Meta.
Theo Meta, trình tăng tốc sẽ cung cấp các dự đoán chính xác và thú vị hơn, tăng thời gian xem và tỷ lệ nhấp tốt hơn.
Meta cho biết MTIA đáp ứng nhu cầu về khối lượng công việc của nhà phát triển mà cả CPU và GPU đều không thể đáp ứng được. Ngoài ra, ngăn xếp phần mềm của nó được tích hợp với Pytorch.
MTIA là một cách để Meta chuyển sang kỷ nguyên chuyên môn hóa tiếp theo, nhà phân tích Chirag Dekate của Gartner cho biết.
Mặc dù GPU rất linh hoạt, nhưng cần có nhiều sức mạnh tính toán hơn bao giờ hết để cung cấp năng lượng cho các kỹ thuật AI thế hệ mới nhất và các mô hình ngôn ngữ lớn . Do đó, những gã khổng lồ công nghệ như Meta và Google, với TPU , đã bắt đầu thiết kế các kỹ thuật mới hơn để xử lý các mô hình lớn hơn nhiều này.
Dekate nói thêm: “Họ đang sử dụng một số mạng lưới thần kinh này và tạo ra những điểm tương đồng có thể xác định được trong hỗn hợp khối lượng công việc của họ và tạo ra các trường hợp dành riêng cho mục đích”.
Anh ấy nói rằng chip silicon AI mới của Meta cũng có nhiều tính năng AI hơn.
“Đó không phải là công nghệ của ngày hôm qua,” Dekate tiếp tục. "Đó là về việc đổi mới nền tảng mô hình, sản phẩm mô hình và hệ sinh thái mô hình của ngày mai."
Ví dụ: chiến lược metaverse của Meta liên quan đến trải nghiệm và hệ sinh thái có tính nhập vai cao. Điều này có thể sẽ không chỉ liên quan đến tai nghe VR/AR mà còn liên quan đến thế giới có hình đại diện với nhiều tùy chọn ngôn ngữ tốt hơn và chuyển động chân thực hơn. Tuy nhiên, sẽ rất khó để thêm các nền tảng quảng cáo vào hệ sinh thái metaverse với cơ sở hạ tầng hiện tại.
Do đó, Meta có thể sẽ phát triển chiến lược phần cứng của mình để phát triển các dòng chip khác nhau cho phép đào tạo và tăng tốc suy luận của các mô hình AI tổng quát và AI đa phương thức sẽ giúp Meta tạo ra trải nghiệm metaverse tốt hơn, Dekate nói.
Ông nói: “Những trải nghiệm này đòi hỏi phải kết hợp các mô hình tầm nhìn, mô hình lời nói và kỹ thuật NLP [ hiểu ngôn ngữ tự nhiên ].
Dekate nói thêm: “Đây không chỉ là việc giải quyết các kỹ thuật AI tổng quát. "Đó là về việc sử dụng nhiều kỹ thuật này như các khối xây dựng và xây dựng các hệ sinh thái bản địa AI lớn hơn mà Meta chuyên về, đặc biệt là tầm nhìn của nó đối với metaverse."
Hướng đến tương lai
Tuy nhiên, việc xây dựng các chip tùy chỉnh là một nỗ lực tốn kém mà chỉ những công ty như Meta, Google và AWS mới có thể đảm nhận vì tài nguyên tiền tệ của họ.
Dekate cho biết: “Quy mô của AI trong tổ chức của họ rất lớn và quan trọng hơn là họ hiểu chính xác các vấn đề mà họ cần giải quyết không chỉ hôm nay mà cả trong tương lai ưu tiên AI của họ”.
Những vấn đề đó bao gồm nghiên cứu về cách tối ưu hóa các mô hình và nền tảng ngôn ngữ của Meta -- bao gồm Facebook, Instagram và WhatsApp -- với các quảng cáo được nhắm mục tiêu. Là một công ty công nghệ có phạm vi tiếp cận xã hội rộng lớn như vậy, Meta phải giải quyết vấn đề đảm bảo các mô hình ngôn ngữ của công ty có thể mở rộng ra nhiều ngôn ngữ trên thế giới, sử dụng video, âm thanh và hình ảnh để triển khai đúng quảng cáo đến đúng đối tượng.
Dekate cho biết Meta đang sử dụng những gì nó học được từ các nền tảng này để tạo ra các nền tảng nhập vai trong tương lai ở quy mô lớn, bao gồm cả các nền tảng dành cho metaverse.
Một phần của chiến lược này là trung tâm dữ liệu thế hệ tiếp theo . Theo Meta, trung tâm dữ liệu mới sẽ là một thiết kế được tối ưu hóa cho AI, hỗ trợ phần cứng AI được làm mát bằng chất lỏng và mạng AI hiệu suất cao.
Meta cũng tiết lộ rằng họ đã hoàn thành quá trình xây dựng giai đoạn hai cho siêu máy tính AI của mình, Research SuperCluster . Điều này đã cho phép công ty công nghệ đào tạo các mô hình AI lớn, chẳng hạn như mô hình ngôn ngữ lớn, Llama, trên siêu máy tính.
Đầu năm nay, Meta đã cung cấp LLaMA dưới dạng một mô hình nguồn mở, đi theo hướng mà OpenAI, người tạo ra ChatGPT của Microsoft, Google và ChatGPT đã tránh xa, viện dẫn những rủi ro liên quan đến việc mọi người lạm dụng các mô hình.
Nhà phân tích Karl Freund của Cambrian AI cho biết: “Bằng cách cung cấp nguồn mở cho Llama, Meta hy vọng sẽ tăng tốc sự đổi mới”.
Bất chấp những lời chỉ trích về lựa chọn biến công nghệ thành nguồn mở, lựa chọn của Meta với LLaMA cho thấy hy vọng vươn lên dẫn đầu ngành công nghiệp AI của Meta.
Freund cho biết: “Meta muốn sử dụng AI trong tất cả các sản phẩm của mình và trở thành công ty hàng đầu trong việc tạo ra các LLM mới”. của công nghệ Meta trong toàn ngành.
"Chúng tôi đã xây dựng cơ sở hạ tầng tiên tiến cho AI trong nhiều năm nay và công việc này phản ánh những nỗ lực lâu dài sẽ tạo ra nhiều tiến bộ hơn nữa và sử dụng tốt hơn công nghệ này trong mọi việc chúng tôi làm", Zuckerberg cho biết trong một tuyên bố cung cấp cho giới truyền thông.
