NVIDIA i Google współpracują przy optymalizacji nowej aplikacji Google Gemma na procesorach graficznych NVIDIA
2 minuta. czytać
Opublikowany
Udostępnij ten artykuł
Ulepsz ten przewodnik
Przeczytaj naszą stronę z informacjami, aby dowiedzieć się, jak możesz pomóc MSPoweruser w utrzymaniu zespołu redakcyjnego Czytaj więcej
Kluczowe uwagi
- Microsoft porzuca firmę NVIDIA, a Google wykorzystuje ją do optymalizacji swojego nowego modelu sztucznej inteligencji.
- TensorRT-LLM firmy NVIDIA przyspiesza Gemmę firmy Google na różnych platformach, w tym na komputerach lokalnych.
- Programiści zyskują dostęp do narzędzi umożliwiających dostrajanie i wdrażanie Gemmy pod konkretne potrzeby.
Podczas gdy Microsoft ogłosił niedawno decyzję o odejściu od procesorów graficznych NVIDIA na rzecz niestandardowych chipów, Google przyjął odwrotne podejście, współpracując z firmą NVIDIA w celu optymalizacji nowego, lekkiego modelu językowego, Gemma, na procesorach graficznych NVIDIA.
Pączek jest lekki model języka opracowany przez Google. W przeciwieństwie do tradycyjnych dużych modeli językowych (LLM), które wymagają ogromnych zasobów obliczeniowych, Gemma może pochwalić się mniejszym rozmiarem (2 miliardy i 7 miliardów wersji parametrów), oferując jednocześnie imponujące możliwości.
Ta współpraca ma na celu znaczną poprawę dostępności i wydajności Gemmy, dzięki czemu będzie ona szybsza i szerzej dostępna na różnych platformach.
Ta biblioteka typu open source optymalizuje wnioskowanie LLM, umożliwiając wyższą wydajność procesorów graficznych NVIDIA w centrach danych, środowiskach chmurowych, a nawet komputerach osobistych wyposażonych w procesory graficzne NVIDIA RTX. Współpraca dotyczy ponad 100 milionów procesorów graficznych NVIDIA RTX na całym świecie oraz platform chmurowych wyposażonych w procesory graficzne H100 i nadchodzące procesory graficzne H200.
Pakiet AI Enterprise firmy NVIDIA, obejmujący platformę NeMo i TensorRT-LLM, umożliwia programistom dostrajanie i wdrażanie oprogramowania Gemma do konkretnych zastosowań.
Użytkownicy mogą bezpośrednio wchodzić w interakcję z Gemmą za pośrednictwem NVIDIA AI Playground, a wkrótce także za pośrednictwem wersji demonstracyjnej Chat with RTX, która umożliwi im personalizację chatbotów za pomocą ich danych.
Z kim Microsoft dystansuje się od NVIDIA, podjęte przez Google działania mające na celu optymalizację technologii opartej na procesorach graficznych NVIDIA sugerują potencjalne wzmocnienie ich partnerstwa. Może to prowadzić do dalszych postępów w zakresie sztucznej inteligencji i modelowania języka, z korzyścią zarówno dla programistów, jak i użytkowników.
Ponadto skupienie się na przetwarzaniu lokalnym za pośrednictwem procesorów graficznych RTX zapewnia użytkownikom większą kontrolę nad ich danymi i prywatnością, potencjalnie rozwiązując problemy związane z usługami LLM opartymi na chmurze.
Więcej tutaj.
