DBRX: Mã nguồn mở LLM của Databricks mạnh gần bằng GPT-3.5

Một đối thủ hoàn toàn mới đã bước vào vòng đua của các mô hình ngôn ngữ lớn (LLM). Databricks, một công ty chuyên xử lý dữ liệu, đã tiết lộ DBRX, tuyên bố đây là LLM nguồn mở mạnh mẽ nhất từ ​​trước đến nay. Nhưng nó có ủng hộ những tuyên bố đó không? Hãy cùng tìm hiểu.

132 tỷ tham số là một con số lớn – GPT-3.5 có 175 tỷ tham số

DBRX sử dụng kiến ​​trúc máy biến áp và có tới 132 tỷ thông số khổng lồ. Nó thúc đẩy một cách tiếp cận độc đáo được gọi là mô hình Hỗn hợp các chuyên gia (MoE), bao gồm 16 mạng lưới chuyên gia riêng lẻ. Trong bất kỳ nhiệm vụ nào, chỉ có 4 chuyên gia trong số này hoạt động, sử dụng 36 tỷ tham số để đạt hiệu quả. GPT-4 cũng sử dụng mô hình MoE.

Databricks so sánh DBRX với các LLM nguồn mở nổi bật khác như Llama 2-70B của Meta, Mixtral (từ MixtralAI của Pháp) và Grok-1 (được phát triển bởi xAI của Elon Musk). DBRX được cho là vượt trội so với các đối thủ của mình trong một số lĩnh vực chính:

• Hiểu ngôn ngữ:  DBRX đạt số điểm 73,7%, vượt qua GPT-3,5 (70,0%), Llama 2-70B (69,8%), Mixtral (71,4%) và Grok-1 (73,0%).
• Khả năng lập trình:  Ở đây, DBRX thể hiện sự dẫn đầu đáng kể với số điểm 70,1%, so với 48,1% của GPT-3.5, 32,3% của Llama 2-70B, 54,8% của Mixtral và 63,2% của Grok-1.
• Toán học:  DBRX giành thêm một chiến thắng nữa với số điểm 66,9%, vượt qua GPT-3,5 (57,1%), Llama 2-70B (54,1%), Mixtral (61,1%) và Grok-1 (62,9%).

Databricks gán tốc độ của DBRX cho kiến ​​trúc MoE của nó, được xây dựng dựa trên các dự án nguồn mở và nghiên cứu MegaBlocks của họ. Điều này cho phép mô hình xuất mã thông báo với tốc độ rất cao. Ngoài ra, Databricks định vị DBRX là mô hình MoE nguồn mở tiên tiến nhất hiện có, có khả năng mở đường cho những tiến bộ trong tương lai trong lĩnh vực này.

Bản chất nguồn mở của DBRX cho phép cộng đồng nhà phát triển chấp nhận và đóng góp rộng rãi hơn . Điều này có thể đẩy nhanh sự phát triển hơn nữa và có khả năng củng cố vị thế của DBRX với tư cách là LLM hàng đầu.

• Đọc thêm kiến thức về LLM, AI, Machine Learning
• Nếu bạn cần Dịch vụ marketing AI, liên hệ ngay tại đây.
• Hoặc đầu tư vào trí tuệ nhân tạo bằng cách mua token Saigon (ký hiệu: SGN) thông qua sàn giao dịch Pancakeswap: https://t.co/KJbk71cFe8 (đừng lo lắng về low liquidity, hãy trở thành nhà đầu tư sớm) (cách mua: tìm hiểu trên Google về thao tác giao dịch trên sàn phi tập trung Pancakeswap, cực kỳ an toàn).
• Được hỗ trợ bởi Công ty Click Digital
• Nâng cao kiến thức về AI + Machine Learning
• Địa chỉ token trên mạng BSC: 0xa29c5da6673fd66e96065f44da94e351a3e2af65
• Twitter: https://twitter.com/SaigonSGN135/
• Staking SGN: http://135web.net/

• Invest in Artificial Intelligence by BUYING Saigon token (symbol: SGN) through the Pancakeswap exchange: https://t.co/KJbk71cFe8 (do not worry about low liquidity, be an early investor) (how to buy: search on Google for instructions on trading on the decentralized Pancakeswap exchange, it’s secure).
• Backed by Click Digital Company
• Enhancing AI + Machine Learning knowledge
• BSC address: 0xa29c5da6673fd66e96065f44da94e351a3e2af65
• Twitter: https://twitter.com/SaigonSGN135/
• Staking SGN: http://135web.net/

Vietnam Pham

Digital Marketing Specialist

Related posts:

GPT-4V: Chat GPT-4 tích hợp Vision, hỏi bằng hình ảnh GPT-4V: Phiên bản ChatGPT tích hợp Vision, hỏi bằng hình ảnh, xử lý image bằng AI 2 tiêu chuẩn đạo đức trong phát triển AI và LLM: tính công bằng, quyền riêng tư SAFE: Công cụ AI của Google DeepMind kiểm tra sự thật, tính chính xác kết quả câu trả lời đầu ra của LLM như ChatGPT OpenAI cung cấp GPT-4 Turbo với API Vision, giúp các doanh nghiệp tích hợp khả năng ngôn ngữ Ngôn ngữ học liệu còn quan trọng trong thời đại Mô Hình Ngôn Ngữ Lớn (LLM)? 6 Vai trò của ngôn ngữ học trong NLP In-Context Learning (ICL) trong LLM: Học trong ngữ cảnh cho Mô hình ngôn ngữ lớn NVIDIA thông báo ra mắt Blackwell GPU để trao quyền cho máy tính thế hệ tiếp theo chạy AI trên các mô hình LLM Phân biệt NLP & LLM. Khi nào nên dùng thuật ngữ Xử lý ngôn ngữ tự nhiên (Natural Language Processing), khi nào dùng Mô hình ngôn ngữ lớn (Large Language Model) LLM (mô hình ngôn ngữ lớn) cách mạng hóa lĩnh vực tài chính trong 2 năm tới như thế nào? PDFTriage: Mô hình LLM đọc hiểu cả file PDF thay vì chỉ file text Small Language Model (SLM) Mô hình ngôn ngữ nhỏ là gì? Khác gì Large Language Model (LLM)? Vision Language Model (VLM) Mô hình ngôn ngữ thị giác là gì? Công dụng LLM + hình ảnh Large Action Model (LAM) là gì? Mô hình hành động lớn khác gì Large Language Model (LLM)? Cách hoạt động? 5 khó khăn thách thức trong đào tạo mô hình NLP, LLM Small Language Model (SLM) là gì? Mô hình ngôn ngữ nhỏ: Tối ưu hơn LLM? Điểm yếu chung của GPT-4 và Palm 2 (Google Bard) và Cách khắc phục Trọng số (weight) trong mô hình máy học là gì? Vai trò của nó? Ví dụ về GPT-4 Chip C-Transformer của Hàn Quốc hiệu quả hơn gấp hàng trăm lần Nvidia A100 Tensor Core GPU giúp xử lý LLM Spectral Labs ra mắt Syntax, một LLM (mô hình ngôn ngữ lớn) AI tự viết code Solidity bằng ngôn ngữ tự nhiên cho người thường non-coder Voice Engine: Công cụ tạo giọng nói bằng AI của OpenAI DefiLlama kết hợp Chat GPT Plugin: Cách sử dụng để research Crypto Lý do các crypto trend AI tăng mạnh gần đây 2 whale gom gần nửa triệu đô PIXEL khi giá PIXEL giảm mạnh Các quỹ Bitcoin Spot ETF bán mạnh gần $550tr khi BTC phá xuống dưới $60,000 Degen Chain Layer 3 có số lượng người dùng mới hàng ngày cao gần bằng Optimism & Avalanche Arbitrum đề xuất trao cho Arbitrum DAO quyền cho vay stablecoin bằng ARB, tỷ lệ phản đối gần 80% RealM của Apple: AI có thể ‘nhìn’ và hiểu màn hình của người dùng Ngôn ngữ gà: AI đang học cách phân tích cuộc trò chuyện và cảm xúc của loài gà bằng trí tuệ nhân tạo OpenAI CEO Sam Altman: Tương lai của AI và ChatGPT, trao đổi tại WSJ Tech