Как модель Apple OpenELM с открытым исходным кодом сравнивается с Microsoft Phi-3 по параметрам?

Вскоре после того, как Microsoft запустила Семейство Фи-3, набор небольших моделей с открытым исходным кодом, предназначенных для более легкого использования, к поезду присоединилась Apple. Производители iPhone (тихо) запустили OpenELM, свою последнюю модель искусственного интеллекта с открытым исходным кодом. 

OpenELM, сокращение от «Эффективные языковые модели с открытым исходным кодом», поставляется в восьми вариантах, каждый из которых предварительно обученный и настроенный по инструкции получает четыре. Исследователи Apple — сказал что модель использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого слоя модели трансформатора, и вы можете использовать эти модели на ОбниматьЛицо.

«Например, при бюджете параметров примерно в один миллиард параметров OpenELM демонстрирует улучшение точности на 2.36% по сравнению с OLMo, при этом требуя в 2 раза меньше токенов предварительного обучения», — говорится в документации.

Что касается размеров, то каждая модель имеет разные параметры: 270 миллионов, 450 миллионов, 1.1 миллиарда и 3 миллиарда. И хотя это не всегда лучший стандарт измерения, параметры в моделях ИИ всегда являются отправной точкой для их сравнения.

Честно говоря, OpenELM не так впечатляет (с точки зрения параметров), как другие модели с открытым исходным кодом: Llama 3, который поддерживает Meta AI, имеет максимальное количество параметров в 70 миллиардов, а компания Mixtral, поддерживаемая Microsoft, запустила свой Модель 8х22Б с 176В параметрами.

Phi-3-mini, самая маленькая версия модели Microsoft Phi-3, имеет 3.8 миллиарда параметров и была тренировался неделю с использованием графических процессоров Nvidia H100. Для сравнения: средняя версия имеет 14 миллиардов параметров, а маленькая — 7 миллиардов параметров.