![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Entry tags:
Warp
Когда-то давно слышал что-то про терминал Warp, но раньше он только на маках работал, а вот в феврале этого года вышел и для линукса, произведя некоторый шум (в основном возмущение тем, что посмел вести себя как продукт и предлагать при первом запуске куда-то регистрироваться и логиниться). Любопытства ради, поставил я себе его посмотреть-поиграться. И, неожиданно, так мне погравилась эта игрушка, что теперь только им и пользуюсь.
Во-первых, это красиво:
Во-вторых, он отошел от стандартного подхода "матрица текста" и пользуется тем, что это окно GUI, которым можно распоряжаться с большей фантазией, например показывать текущую выполняемую команду сверху, и вообще последовательность команд и их вывода отображать больше как ноутбук а-ля Jupyter, а какие-то вещи можно нарисовать и поверх, в виде попапов, например историю прошлых команд при наборе новой:
При хождении по истории можно еще рядом показывать подробности последнего вызова данного элемента истории:
Но одна из главных фишек, как и положено в эти дни, это встроенный AI: вместо шелловской команды можно нажать # и дальше писать по-английски чего хочется сделать, а он показывает попапами варианты того, как он это понял, и какой шелловской командой это делается.
В некоторых примерах команд будут плейсхолдеры, куда предлагается подставить значение, например имя файла. При выборе варианта с ними, он подробнее показывает и рассказывает их значение, что туда нужно писать.
Выбор предлагаемой ИИ команды не приводит сразу к ее вызову, она вставляется в основное поле ввода, и ее еще можно отредактировать прежде чем запускать. Я пока совсем мало этой функцией пользовался, но иногда, когда что-то редкое делаешь и не знаешь / не помнишь как это сделать, как замена поисковику вполне себе работает, и очень удобно. И хотя правильность ответов не гарантируется, на моем скромном опыте обычно они неплохие, может быть всего раз он мне нерабочую команду выдал.
Единственное, если долго он запущен (неделями), то многовато памяти ест, и закрытие вкладок с открытием новых не помогает. Нужно целиком его закрыть и запустить заново
Во-первых, это красиво:
Во-вторых, он отошел от стандартного подхода "матрица текста" и пользуется тем, что это окно GUI, которым можно распоряжаться с большей фантазией, например показывать текущую выполняемую команду сверху, и вообще последовательность команд и их вывода отображать больше как ноутбук а-ля Jupyter, а какие-то вещи можно нарисовать и поверх, в виде попапов, например историю прошлых команд при наборе новой:
При хождении по истории можно еще рядом показывать подробности последнего вызова данного элемента истории:
Но одна из главных фишек, как и положено в эти дни, это встроенный AI: вместо шелловской команды можно нажать # и дальше писать по-английски чего хочется сделать, а он показывает попапами варианты того, как он это понял, и какой шелловской командой это делается.
В некоторых примерах команд будут плейсхолдеры, куда предлагается подставить значение, например имя файла. При выборе варианта с ними, он подробнее показывает и рассказывает их значение, что туда нужно писать.
Выбор предлагаемой ИИ команды не приводит сразу к ее вызову, она вставляется в основное поле ввода, и ее еще можно отредактировать прежде чем запускать. Я пока совсем мало этой функцией пользовался, но иногда, когда что-то редкое делаешь и не знаешь / не помнишь как это сделать, как замена поисковику вполне себе работает, и очень удобно. И хотя правильность ответов не гарантируется, на моем скромном опыте обычно они неплохие, может быть всего раз он мне нерабочую команду выдал.
Единственное, если долго он запущен (неделями), то многовато памяти ест, и закрытие вкладок с открытием новых не помогает. Нужно целиком его закрыть и запустить заново
no subject
Отличные новости.
no subject
no subject
no subject
https://ollama.com/
https://github.com/open-webui/open-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui
Модели требуютъ лишь 8 ГБ памяти. Въ общемъ, не то чтобы хорошо, но кое-какъ работаетъ.
Такъ что въ будущемъ я ожидаю полностью локальную модель для bash.
no subject
no subject
- Есть ли гдѣ-нибудь полное и подробное описанiе того, какъ собирать и тренировать съ нуля модели типа Ллама? Какая архитектура моделей, на какомъ этапѣ нужно имѣть тексты миллiоновъ книгъ и статей и фотографiй, какъ готовить эти матерiалъ для тренировки модели, на какомъ этапѣ надо нанимать десятки тысячъ людей для ручной работы оцѣнки отвѣтовъ и дiалога (или этого уже не надо) и т.д.
Для меня наибольшее впечатленiе - отъ способности LLM генерировать абсолютно правильный текстъ съ явными кусками смысла (а иногда и полностью осмысленный текстъ). Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки? Какимъ образомъ достигли "осмысленности", т.е. явной логики шагъ за шагомъ въ развитiи идей въ текстѣ? (Иногда логика ошибочна, шагъ 5 не слѣдуетъ изъ шага 4, но логика всегда есть, это нельзя сравнить съ какой-нибудь марковской цѣпью по частотностямъ словъ.)
- Можно ли увидѣть, на какомъ этапѣ модели перестаютъ быть "интеллектомъ" и становятся мартышками, повторяющими какую-то заданную политическую линiю? Скажемъ, если спросить про ковидъ или про климатъ или о томъ, почему у богатыхъ людей столько денегъ, начнется пропаганда. Я ожидалъ бы, что ИИ (если онъ таки "интеллектъ") будетъ объяснять, что по ряду вопросовъ нѣтъ однозначныхъ отвѣтовъ и есть лишь различныя мнѣнiя. Вмѣсто этого, нейросѣть бодро и самоувѣренно несетъ пургу. Какъ это было достигнуто, и можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?
Можетъ, тамъ какая-то непреодолимая проблема? Скажемъ, я бы ожидалъ получить лажу, если задать провокацiонный вопросъ типа "Перечисли основныя научныя открытiя въ области физики кристалловъ, за которыя Председатель Президiума ВС СССР Леонидъ Ильичъ Брежневъ получилъ въ 1995 году Нобелевскую премiю. Используй языкъ, понятный школьникамъ выпускныхъ классовъ. Построй шагъ за шагомъ логическую картину. Дай ссылки на опубликованную научную литературу." Я бы ожидалъ, что любая языковая модель начнетъ "галлюцинировать" на такой запросъ, просто по построенiю.
no subject
https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
Там не только математика/алгоритмы, но главное соображения и удивления о том, почему оно работает. Похоже, на удивление язык человеческий достаточно прост, чтобы вывод генерилки продолжения текстов часто выглядел разумно. Чудо появления видимости интеллекта в трансформерах все равно остается для всех(?) непонятным, архитектуру эту нащупали чуть ли не случайно. Что касается стиля и тона ответов, я так понимаю это результат reinforcement learning from human feedback (RLHF) - мало просто машине прочитать мильон текстов в интернете и научиться их продолжать, там потом садятся живые люди и долго и упорно ведут диалоги и оценивают какие ответы лучше, какие хуже, какие вежливые и политкорректные, а какие негодные, на этом веса догоняются, чтобы продукт вел себя как надо.
ChatGPT и аналоги научены всегда продолжать дружественный диалог, потому даже если чего не знают или имеют много вариантов ответа, не сомневаясь случайно выбирают/придумывают один вариант, который звучит стилистически правдоподобно, даже если содержит полную ерунду по смыслу. Потому так охотно соглашаются и передумывают, если им указать на ошибку (как у меня недавно).
Сам я тему их устройства сильно не погружался, но разного уровня описания и туториалы мне попадались, например
Transformers From Scratch
https://blog.matdmiller.com/posts/2023-06-10_transformers/notebook.html
Attention in transformers, visually explained (там целая серия у 3Blue1Brown)
https://www.youtube.com/watch?v=eMlx5fFNoYc
Еще серия видео у Andrej Karpathy была, в блоге выше упоминается.
Но это больше про алгоритмы, а большая работа по подготовке входных данных для обучения и по самому дообучению с людьми остается за кадром.
no subject
https://www.lesswrong.com/posts/jkY6QdCfAXHJk3kea/the-petertodd-phenomenon