Концепты

Ollama получила поддержку аппаратного ускорения на чипах Apple M5 — при наличии 32 Гбайт памяти

Приложение Ollama, предназначенное для локального запуска моделей искусственного интеллекта на компьютерах под управлением Windows, macOS и Linux, получило поддержку аппаратного ускорения на системах с процессорами семейства Apple M5.

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

От Ryzen 7 1800X до Ryzen 7 9850X3D: девять лет эволюции AMD в одном тесте

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

 Источник изображений: ollama.com

Источник изображений: ollama.com

В отличие от облачных приложений, таких как ChatGPT, модели которых не могут запускаться локально и требуют подключения к интернету, Ollama позволяет загружать и запускать модели ИИ непосредственно на бытовых компьютерах. Открытые модели публикуются на платформах сообществ или выкладываются напрямую разработчиками и свободно загружаются.

Однако их локальный запуск может быть непростой задачей, потому что модели ИИ, как правило, потребляют большие объёмы системной оперативной и видеопамяти. Чтобы преодолеть эту проблему, разработчики приложения добавили в Ollama 0.19 поддержку созданного Apple фреймворка машинного обучения MLX и унифицированной архитектуры памяти, благодаря чему скорость его работы на системах с чипами Apple возросла.

Правда, пока это касается только новейших чипов Apple M5, M5 Pro и M5 Max — приложение Ollama 0.19 обращается к нейроускорителям на платформе, сокращая время до выдачи первого токена и обеспечивая повышенную скорость генерации токенов в целом. В результате стали быстрее работать как персональные ИИ-агенты вроде OpenClaw, так и специализированные, в том числе OpenCode, Anthropic Claude Code и OpenAI Codex. Есть и ещё одно ограничение — на компьютере должно быть не менее 32 Гбайт унифицированной памяти.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»