Apple의 OpenELM 오픈 소스 모델은 매개 변수 측면에서 Microsoft의 Phi-3과 어떻게 비교됩니까?
일치?
2 분. 읽다
에 게시됨
이 기사 공유
이 가이드를 개선하세요
공개 페이지를 읽고 MSPoweruser가 편집팀을 유지하는 데 어떻게 도움을 줄 수 있는지 알아보세요. 자세히 보기
주요 사항
- Apple은 HuggingFace에서 8가지 변형이 포함된 OpenELM을 출시했습니다.
- 각 모델에는 270억 450천만, 1.1억 3천만, XNUMX억, XNUMX억 등 다양한 매개변수가 제공됩니다.
- 반면에 Microsoft의 Phi-3 모델에는 3.8억, 7억, 14억 개의 매개변수가 있는 버전이 포함되어 있습니다.
마이크로소프트가 출시된 직후 Phi-3 계열, 더 가벼운 사용을 위해 설계된 작은 오픈 소스 모델 세트인 Apple이 대열에 합류했습니다. iPhone 제조업체는 최신 오픈 소스 AI 모델인 OpenELM을 (조용히) 출시했습니다.
Open-source Efficient Language Models의 약자인 OpenELM은 각각 8가지 변형으로 제공됩니다. 미리 훈련된 및 지시에 맞춰 조정된 4개를 얻습니다. 애플 연구진 말했다 모델은 레이어별 확장 전략을 사용하여 변환기 모델의 각 레이어 내에서 매개변수를 효율적으로 배포하며 이러한 모델을 다음에서 사용할 수 있습니다. 포옹 얼굴.
"예를 들어, 약 2.36억 개의 매개변수로 구성된 매개변수 예산을 사용하는 OpenELM은 OLMo에 비해 정확도가 2% 향상되는 동시에 사전 훈련 토큰이 XNUMX배 더 적게 필요합니다."라고 문서에 나와 있습니다.
크기는 각 모델마다 270억 450천만, 1.1억 3천만, XNUMX억, XNUMX억 등 다양한 매개변수가 제공됩니다. 그리고 항상 최고의 측정 표준은 아니지만 AI 모델의 매개변수는 항상 비교의 시작입니다.
솔직히 말해서 OpenELM은 다른 오픈 소스 모델만큼 인상적이지는 않습니다(매개변수 측면에서). 라마 3Meta AI를 지원하는 는 최대 70억 개의 매개변수 수를 제공하며 Microsoft가 지원하는 Mixtral이 출시되었습니다. 8x22B 모델 176B 매개변수를 사용합니다.
마이크로소프트 파이-3(Phi-3) 모델의 가장 작은 버전인 파이-3.8-미니(Phi-XNUMX-mini)는 XNUMX억 개의 매개변수를 갖고 있으며, 일주일간 훈련 Nvidia의 H100 GPU를 사용합니다. 이에 비해 중형 버전에는 14억 개의 매개변수가 있고 소형 버전에는 7억 개의 매개변수가 있습니다.
