Một cụm chip mới sẽ tạo ra các mô hình AI khổng lồ

Thứ tư - 25/08/2021 09:04
Cerebras cho biết công nghệ của họ có thể chạy một mạng nơ-ron với 120 nghìn tỷ kết nối gấp một trăm lần những gì có thể đạt được ngày nay.
chip ai (1)

Đối với các mạng cung cấp sức mạnh cho trí tuệ nhân tạo ngày nay , đôi khi chúng càng lớn thì càng thông minh hơn. Ví dụ, những bước nhảy vọt gần đây trong sự hiểu biết của máy về ngôn ngữ đã giúp xây dựng một số mô hình AI khổng lồ nhất từ ​​trước đến nay và chúng có thể lưu trữ với hàng đống văn bản khổng lồ. Một cụm chip máy tính mới hiện nay có thể giúp các mạng phát triển một cách mạnh mẽ, cho thấy việc phát triển quan trọng hơn bao giờ hết để có thể mở ra những tiến bộ hơn nữa của AI, không chỉ hiểu về ngôn ngữ mà còn trong các lĩnh vực như robot và thị giác máy tính .

Cerebras Systems , một công ty khởi nghiệp đã chế tạo chip máy tính lớn nhất thế giới , hiện đang phát triển công nghệ cho phép một cụm chip đó chạy các mô hình AI lớn hơn hàng trăm lần so với các mô hình khổng lồ nhất hiện nay.

Cerebras cho biết giờ đây nó có thể chạy một mạng nơ-ron với 120 nghìn tỷ kết nối, mô phỏng toán học về sự tác động lẫn nhau giữa các nơ-ron sinh học và khớp thần kinh. Các mô hình AI lớn nhất đang tồn tại ngày nay có khoảng một nghìn tỷ kết nối và chúng tiêu tốn hàng triệu đô la để xây dựng và đào tạo. Nhưng Cerebras cho biết phần cứng của nó sẽ chạy các phép tính trong khoảng một phần 50 thời gian so với phần cứng hiện có. Cùng với các yêu cầu về năng lượng và làm mát, có lẽ vẫn sẽ không rẻ, nhưng ít nhất Cerberas tuyên bố công nghệ của họ sẽ hiệu quả hơn đáng kể.

chip ai (2)

Andrew Feldman, người sáng lập và Giám đốc điều hành của Cerebras, cho biết: “Chúng tôi đã xây dựng nó bằng các thông số tổng hợp, người sẽ trình bày chi tiết về công nghệ này tại một hội nghị chip tuần này. “Vì vậy, chúng tôi biết mình có thể làm được, nhưng chúng tôi chưa đào tạo một mô hình nào, bởi vì chúng tôi là những người xây dựng cơ sở hạ tầng và, tốt, vẫn chưa có mô hình nào có quy mô như vậy, ông nói thêm.

Ngày nay, hầu hết các chương trình AI được đào tạo bằng cách sử dụng GPU, một loại chip ban đầu được thiết kế để tạo đồ họa máy tính nhưng cũng rất phù hợp cho việc xử lý song song mà mạng nơ-ron yêu cầu. Các mô hình AI lớn về cơ bản được chia thành hàng chục hoặc hàng trăm GPU, được kết nối bằng hệ thống dây tốc độ cao.

GPU vẫn có ý nghĩa đối với AI, nhưng khi các mô hình ngày càng lớn hơn. Những tiến bộ gần đây và sự quan tâm thương mại đã làm bùng nổ kỷ Cambri trong các thiết kế chip mới chuyên dụng cho AI. Chip Cerebras là một phần hấp dẫn của quá trình tiến hóa đó. Trong khi các nhà thiết kế chất bán dẫn bình thường chia một tấm wafer thành nhiều phần để tạo ra các chip riêng lẻ, Cerebras có sức mạnh tính toán cao hơn nhiều bằng cách sử dụng toàn bộ, có nhiều đơn vị tính toán hoặc lõi của nó. Một GPU thường có vài trăm lõi, nhưng chip mới nhất của Cerebras, được gọi là Wafer Scale Engine Two (WSE-2), có 850.000 lõi trong số đó.

Thiết kế có thể chạy một mạng nơ-ron lớn hiệu quả hơn so với các GPU được kết nối với nhau. Nhưng sản xuất và vận hành con chip là một thách thức, đòi hỏi các phương pháp mới để khắc các tính năng silicon, một thiết kế bao gồm các phần dư thừa để giải thích các sai sót trong quá trình sản xuất và một hệ thống nước mới để giữ cho con chip khổng lồ được làm mát.

Xây dựng một cụm chip WSE-2 có khả năng chạy các mô hình AI với kích thước lớn, Cerebras đã phải giải quyết một thách thức kỹ thuật khác: làm thế nào để đưa dữ liệu vào và ra khỏi chip một cách hiệu quả. Các chip thông thường có bộ nhớ riêng trên bo mạch, nhưng Cerebras đã phát triển một hộp bộ nhớ ngoài chip có tên là MemoryX. Công ty cũng tạo ra phần mềm cho phép một mạng thần kinh được lưu trữ một phần trong bộ nhớ ngoài chip đó, chỉ với các tính toán được chuyển sang chip silicon. Và nó đã xây dựng một hệ thống phần cứng và phần mềm gọi là SwarmX kết nối mọi thứ lại với nhau.

chip ai (3)

Mike Demler , nhà phân tích cấp cao của Linley Group và là biên tập viên cao cấp của The Microprocessor Report cho biết: “Họ có thể cải thiện khả năng mở rộng của việc đào tạo lên các kích thước khổng lồ, vượt xa những gì mà mọi người đang làm hiện nay .

Demler cho biết vẫn chưa rõ sẽ có bao nhiêu thị trường cho cụm này, đặc biệt là vì một số khách hàng tiềm năng đã tự thiết kế các chip chuyên dụng hơn cho riêng họ. Ông nói thêm rằng hiệu suất thực sự của chip, về tốc độ, hiệu quả và chi phí, vẫn chưa rõ ràng. Cerebras đã không công bố bất kỳ kết quả điểm chuẩn nào cho đến nay.

Các chip của Cerebras cho đến nay đã được các phòng thí nghiệm cần sức mạnh siêu máy tính áp dụng. Những khách hàng ban đầu bao gồm Phòng thí nghiệm Quốc gia Argonne, Phòng thí nghiệm Quốc gia Lawrence Livermore, các công ty dược phẩm bao gồm GlaxoSmithKline và AstraZeneca, và những gì Feldman mô tả là các tổ chức “tình báo quân sự”.

Điều này cho thấy chip Cerebras có thể được sử dụng nhiều hơn là chỉ cấp nguồn cho mạng nơ-ron; các tính toán mà các phòng thí nghiệm này chạy liên quan đến các phép toán song song khổng lồ. Demler cho biết: “Và họ luôn khát khao có thêm sức mạnh máy tính”, người nói thêm: con chip này có thể trở nên quan trọng đối với tương lai của siêu máy tính.

David Kanter, một nhà phân tích của Real World Technologies và giám đốc điều hành của MLCommons , một tổ chức đo lường hiệu suất của các thuật toán và phần cứng AI khác nhau, cho biết ông nhìn thấy một thị trường tương lai cho các mô hình AI lớn hơn nhiều. “Tôi thường có xu hướng tin vào ML [máy học] lấy dữ liệu làm trung tâm, vì vậy chúng tôi muốn các tập dữ liệu lớn hơn cho phép xây dựng các mô hình lớn hơn với nhiều tham số hơn,” Kanter nói.

Theo Feldman, Cerebras có kế hoạch mở rộng bằng cách nhắm mục tiêu vào thị trường non trẻ cho các thuật toán AI xử lý ngôn ngữ tự nhiên khổng lồ. Ông cho biết công ty đã nói chuyện với các kỹ sư tại OpenAI , một công ty ở San Francisco đã đi tiên phong trong việc sử dụng các mạng nơ-ron khổng lồ để học ngôn ngữ cũng như chế tạo robot và chơi trò chơi.

Thuật toán mới nhất của OpenAI, được gọi là GPT-3, có thể xử lý ngôn ngữ theo những cách đáng ngạc nhiên, thu thập các bài báo về một chủ đề nhất định hoặc tóm tắt nội dung một cách mạch lạc hoặc thậm chí viết mã máy tính , mặc dù nó cũng dễ gây hiểu lầm, thông tin sai lệch, và không thường xuyên bị nhầm lẫn . Mạng nơ-ron đằng sau GPT-3 có khoảng 160 tỷ tham số.

“Từ khi nói chuyện với OpenAI, GPT-4 sẽ có khoảng 100 nghìn tỷ tham số,” Feldman nói. "Nó sẽ không sẵn sàng trong vài năm."

OpenAI đã giúp các nhà phát triển và công ty khởi nghiệp có thể truy cập GPT-3 thông qua một API, nhưng công ty phải đối mặt với sự cạnh tranh ngày càng tăng từ các công ty khởi nghiệp đang phát triển các công cụ ngôn ngữ tương tự. Một trong những người sáng lập OpenAI, Sam Altman , là nhà đầu tư vào Cerebras. “Tôi chắc chắn nghĩ rằng chúng ta có thể đạt được nhiều tiến bộ hơn nữa trên phần cứng hiện tại,” Altman nói. “Nhưng sẽ thật tuyệt nếu phần cứng của Cerebras thậm chí còn có khả năng hơn nữa.”

Việc xây dựng một mô hình có kích thước bằng GPT-3 đã tạo ra một số kết quả đáng ngạc nhiên. Khi được hỏi liệu một phiên bản GPT lớn hơn 100 lần có nhất thiết phải thông minh hơn không - có lẽ chứng minh ít lỗi hơn hoặc hiểu rõ hơn về lẽ thường - Altman nói rằng thật khó để chắc chắn, nhưng anh ấy “lạc quan”.

Những tiến bộ như vậy có thể mất ít nhất một vài năm nữa. Gần hơn, Cerebras hy vọng rằng đủ các công ty sẽ thấy nhu cầu về phần cứng được thiết kế để thay thế tất cả các loại mô hình AI.

Tác giả bài viết: tung0911

Nguồn tin: www.wired.com

 Từ khóa: Chip AI

Tổng số điểm của bài viết là: 0 trong 0 đánh giá

Click để đánh giá bài viết

  Ý kiến bạn đọc

Mã bảo mật   

Những tin mới hơn

Những tin cũ hơn

Bạn đã không sử dụng Site, Bấm vào đây để duy trì trạng thái đăng nhập. Thời gian chờ: 60 giây