Apple создала ИИ, который генерирует тексты в 128 раз быстрее аналогов

Разработчики Apple и Университета штата Огайо создали новую диффузионную модель Few-Step Discrete Flow-Matching (FS-DFM), которая может писать тексты в 128 раз быстрее аналогов, сообщил ресурс 9to5mac.com со ссылкой на исследование «FS-DFM: быстрая и точная генерация длинных текстов с помощью моделей языка диффузии с малым количеством шагов».

Пять причин полюбить HONOR X8c

Пять причин полюбить HONOR Magic7 Pro

Почему ИИ никак не сесть на безматричную диету

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Pad V9

Фитнес-браслет HUAWEI Band 10: настоящий металл

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Источник изображения: Jackson Sophat/unsplash.com

Согласно исследованию, FS-DFM способна записывать полные текстовые фрагменты всего за восемь быстрых шагов уточнения. Для получения аналогичного результата по записи текстового фрагмента другим моделям диффузии требуется более тысячи шагов.

Для этого исследователи используют трёхэтапный подход: сначала модель обучается обрабатывать различные виды итераций уточнения. Затем они используют направляющую модель «учителя», которая помогает ей делать более крупные и точные обновления на каждой итерации, не выходя за рамки заданного текста. И наконец, они выполняют корректировку работы каждой итерации с тем, чтобы конечный результат был достигнут за меньшее количество шагов при более стабильной работе модели.

По сравнению с более крупными моделями диффузии, FS-DFM показала хорошие результаты по двум важным метрикам: перплексии и энтропии. Показатель перплексии отражает качество текста в языковых моделях. Чем он ниже, тем точнее и естественнее звучит текст. Энтропия отражает, насколько уверенно модель выбирает каждое слово. Если энтропия слишком низкая, текст может стать повторяющимся или предсказуемым, но если она слишком высокая, он может выглядеть бессвязным со случайным набором слов.

По сравнению с моделями диффузии Dream с 7 млрд параметров и LLaDA с 8 млрд параметров варианты FS-DFM с 1,7 и 1,3, а также 0,17 млрд параметров стабильно обеспечивали меньшую перплексию и более стабильную энтропию на протяжении всего количества итераций.

Разработчики сообщили, что «планируют опубликовать код и контрольные точки модели для облегчения воспроизводимости и дальнейших исследований».

Источник