локальное чудо
Aug. 2nd, 2024 05:19 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
thedeemonСтолкнувшись недавно с лимитом запросов к AI в Warp'e, заинтересовался наконец что можно локально у себя запустить, на машине без мощного GPU. И оказалось вовремя, китайцы тут удружили недавно. Теперь есть модели, которые довольно шустро работают на CPU, безо всяких видеокарт. Рецепт такой:
1) ставим программу ollama.
2) в одном табе терминала пишем "ollama serve".
3) в другом табе пишем "ollama run deepseek-coder-v2:16b".
При первом запуске она скачает несколько гигов модели, потом будет запускаться за считанные секунды. Ест до 9 гигов RAM, когда думает. После запуска пишем там вместо промпта сперва "/set parameter num_thread 10" (по умолчанию она использует половину логических ядер, у меня их всего 12, потому 10 отдать ей на размышления - получается неплохо). И потом можно задавать всякие вопросы по программированию и администрированию. Результат не идеальный, конечно, но весьма впечатляет для штуки, работающей локально, без интернета и чужих кластеров.
1) ставим программу ollama.
2) в одном табе терминала пишем "ollama serve".
3) в другом табе пишем "ollama run deepseek-coder-v2:16b".
При первом запуске она скачает несколько гигов модели, потом будет запускаться за считанные секунды. Ест до 9 гигов RAM, когда думает. После запуска пишем там вместо промпта сперва "/set parameter num_thread 10" (по умолчанию она использует половину логических ядер, у меня их всего 12, потому 10 отдать ей на размышления - получается неплохо). И потом можно задавать всякие вопросы по программированию и администрированию. Результат не идеальный, конечно, но весьма впечатляет для штуки, работающей локально, без интернета и чужих кластеров.
no subject
Date: 2024-08-02 04:51 pm (UTC)Отлично. А смысл? Чего от этого зверка можно добиться?
no subject
Date: 2024-08-02 05:01 pm (UTC)Зачем нужен именно локальный AI?
no subject
Date: 2024-08-02 05:36 pm (UTC)no subject
Date: 2024-08-02 05:38 pm (UTC)no subject
Date: 2024-08-02 05:47 pm (UTC)О, отлично. Но ведь можно у чатгпт спросить?
no subject
Date: 2024-08-02 06:33 pm (UTC)Просто к ИИ в облаках уже привыкли, а когда локально программа работает и словами беседу ведет, да код пишет - это маленькое чудо, другие ощущения. :)
no subject
Date: 2024-08-02 06:55 pm (UTC)Да, конечно. Мне копайлот нравится. Чуть задумаешься, он уже подсказывает.
no subject
Date: 2024-08-03 11:14 am (UTC)Разве эти ограничения по числу запросов более критичны, чем качество и общая производительность вычислений?