Aug. 2nd, 2024

thedeemon: (Default)
Чё-то потянуло меня на прошлой неделе опять посмотреть на язык Swift и попробовать на нем пописать. Меня интересовало каково это жить, когда всякие массивы и прочие структуры данных это value типы с copy-on-write. Но обнаружил, что сам язык сейчас выглядит весьма симпатично по своему набору фич: тут тебе и обычные классы и структуры, и алгебраические типы с паттерн матчингом, и multiparameter type classes, и всякие мелкие удобства. Думал, что бы такое написать, вспомнил, что давно хотел реализовать Byte Pair Encoding и натравить на enwik8 (100 MB старого дампа английской википедии). Написал. Потом думаю: а интересно сравнить насколько этот Свифт тормозной по сравнению с другими языками. Правда, программа тут получилась такая, где его потенциальные проблемы с подсчетом ссылок и реализацией генериков себя не проявляют, а все упирается в скорость хэш-таблиц и optional/nullable типов. Взял Claude.ai и напильник, и напилил переводы одной и той же программы на восьми языках. И получилось местами довольно любопытно, особенно неожиданно то, что Свифт всех обогнал. Я обычно на JVM-targeted языках не пишу, и допускаю, что что-то или все сделал или запускал неправильно, хотя вроде бы перевод получился довольно прямой, и что в нем не так - неясно. Но в итоге Скала на JVM это какой-то позор. Что Свифт и Раст делают за минуту, то Скала делает за 15. В пять раз медленнее Котлина на той же самой JVM! Который вдвое медленнее чем C#, съедая в 15-30 раз больше памяти. Можно, конечно, меньше памяти им давать, так тоже работает, но дольше. С++ тут проиграл многим языкам, ибо стандартные его хэш таблицы совершенно позорные, это давно известно. А заменять кастомными я не стал, везде брал что есть из коробки.

Табличка результатов на файле в 1 МБ:
| Language      | Time, s    | Max Memory, MB |
| ------------- | ---------- | -------------- | 
| Swift         |  57        |   33           |
| Rust          |  59        |   20           |
| C#            |  73        |   75           |
| D             | 132        |   55           |
| Kotlin*       | 162        | 2057           | 
| Go            | 178        |   35           |
| Kotlin        | 201        | 1070           |
| Java          | 262        |  725           |
| C++           | 270        |   27           |
| OCaml         | 600        |   90           |
| Scala         | 941        |  977           |

(Kotlin* - это тот же jar файл, но запущенный с другими параметрами JVM)

Исходники и ключи сборки тут: https://github.com/thedeemon/bpe-comparison/
thedeemon: (Default)
Столкнувшись недавно с лимитом запросов к AI в Warp'e, заинтересовался наконец что можно локально у себя запустить, на машине без мощного GPU. И оказалось вовремя, китайцы тут удружили недавно. Теперь есть модели, которые довольно шустро работают на CPU, безо всяких видеокарт. Рецепт такой:
1) ставим программу ollama.
2) в одном табе терминала пишем "ollama serve".
3) в другом табе пишем "ollama run deepseek-coder-v2:16b".

При первом запуске она скачает несколько гигов модели, потом будет запускаться за считанные секунды. Ест до 9 гигов RAM, когда думает. После запуска пишем там вместо промпта сперва "/set parameter num_thread 10" (по умолчанию она использует половину логических ядер, у меня их всего 12, потому 10 отдать ей на размышления - получается неплохо). И потом можно задавать всякие вопросы по программированию и администрированию. Результат не идеальный, конечно, но весьма впечатляет для штуки, работающей локально, без интернета и чужих кластеров.

Profile

thedeemon: (Default)
Dmitry Popov

July 2025

S M T W T F S
  12345
6789101112
13141516171819
20212223242526
27282930 31  

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Aug. 19th, 2025 02:02 pm
Powered by Dreamwidth Studios