Покровы сорваны!

[thedeemon]

Группа ученых под руководством Дэниела Лебреро из Лаборатории Торговых Программных Интерфейсов британской компании IG Markets Ltd провела статистическое исследование о связи числа баг-репортов и языков программирования на базе информации об открытых проектах на сайте "Центр деятельности мерзавцев" (GitHub.com, организация разрешена в России, за исключением некоторых периодов, когда она запрещена). Выяснилось, что наличие статической типизации и продвинутой системы типов не помогает в уменьшении ошибок, а порой даже вредит, в то время как меньше всего ошибок получается в программах на максимально простых языках.

Плотность багов у проектов с 10 звездами и более:


Теперь научно доказано, что theiced был прав: типы не нужны, а писать надо на Кложури. А также Эрланге и Го. Адептам сложных языков и развитых систем типов надлежит раскаяться, одуматься и перестать уже своими надуманными неработающими идеями отвлекать благородных донов, занятых TDD.

Comments

[tancorko.livejournal.com]

Интересно мнение thesz. Мой небольшой опыт с clojure, erlang и haskell говорит об обратном.

[thesz.livejournal.com]

Не указан размер кода.

Мой опыт говорит о некоем пороге (в районе 300-1000 строк), выше которого лучше использовать типы. Поэтому если в репозитории лежит 10 не связанных библиотек по 100 строк, то плотность ошибок в любом языке будет одинакова.

[alll]

> Плотность багов у проектов с 10 звездами и более

Плотность ошибок внезапно может оказаться связанной со сложностью проекта, а не с количеством звёзд на небе. :)

[enternet.livejournal.com]

Праильно! Поддерживаю!

Но у меня есть теория ещё проще. Я лично ввел бы понятие "сложность программиста". Чем больше внутренняя сложность у программиста, тем больше 10* проектов он пишет (это внешняя сложность) и тем больше народа ищет там ошибки.

[dtim.livejournal.com]

Вернуть Паскаль в университеты!

[nivanych.livejournal.com]

Но у него типизация!
Не вернуть Паскаль, а поставить вместо него Петон!
ТакЪ победимЪ!

[permea-kra.livejournal.com]

>числа баг-репортов
>меньше всего ошибок получается

Гм. Им еще не объяснили, в чем они неправы?

[jamhed.livejournal.com]

В Erlang типы навешиваются сверху, если надо. Часть ошибок отловить можно.

[theiced.livejournal.com]

для го некорректно так мерять. одна строка на нормальном языке (например, кложе) это примерно тринадцать с половиной строк на го.

[thedeemon.livejournal.com]

А тут строки не учитывались.
"charts that compare the number of issues labelled "bug" versus the number of repositories in GitHub for different languages"

[lispnik.livejournal.com]

В моих проектах на самых разных языках вообще 0 багрепортов.

[thedeemon.livejournal.com]

А звезд сколько? Там проекты "для себя" звездами отсекали.

[diam-2003.livejournal.com]

How to Lie with Statistics

[psilogic.livejournal.com]

Бу го га. Чоткая корреляция между числом больных сифилисом и числом монашек =)

За C++ скажу, что строгая типизация в нем ( по сравнению с простым Си) предотвращает появление трудноуловимых ошибок еще на этапе написания кода и компиляци - что не мешает насажать ещё кучу багов другими способами.

[izard.livejournal.com]

Поэтому для себя я пишу на кложур, а на работе на С-С++, так джоб секьюрити повышается ;)

[sorhed.livejournal.com]

В эрланге да, можно баги годами не замечать. Процессы рестартнутся, если что, и всё обратно работает. :)

[migmit.livejournal.com]

Hear, hear.

[binf.livejournal.com]

По мне так данный рейтинг коррелирует со средним количеством boilerplate, а не с "наличием статической типизации и продвинутой системы типов".

Ну и С++ как обычно стоит особняком, поскольку его используют для низкоуровневых вычислений с памятью, недоступных в других перечисленных языках. Ясное дело, что там багов больше

[thedeemon.livejournal.com]

Хорошая гипотеза, разве что Го в нее не вписывается.

[avnik.livejournal.com]

Кстати -- статистика кривая, они же не отсеивали feature request'ы и прочие todo которые в гитхабе обычно болтаются в issues?

[voidex.livejournal.com]

Там есть теги, он считал только то, что помечено, как баги. Правда, прямее от этого статистика особо не становится.

[con-vertor.livejournal.com]

а может такое быть - что просто в Скале Го и Эрланге меньше народа понимает - вот и меньше багов находят?

не ну в Скале-то точно.
это ж вам не Руби)

[thedeemon.livejournal.com]

Да, тоже неплохая гипотеза. Список тут похож на перевернутый рейтинг популярности, разве что JS должен был быть ниже тогда, и Руби тоже.

[valentin budaev (from livejournal.com)]

Этот график, скорее, показывает относительные требования к компетенциям программиста при разработке. с++ и джава, как сильно распространенные языки, предъявляют низкие требования, квалификация программиста растет медленно => средний уровень программистов низок => много багов. "навороченные" статически типизированные языки предъявляют более высокие требования, квалификация растет быстрее, средний уровень программиста растет (а количество багов, соответственно, падает). Ну и сложнее всего писать на "навороченных" динамических языках - это требует как определенного уровня знаний (случайные люди на кложурах с эрлангами не пишут) так и развитой дисциплины (значительно превышающей требования статических языков) с набором специфичных скиллов, которые позволяют в нужном месте подстелить соломки и писать безопасно без типов. Такие программисты - топчик, и могут писать с минимальным уровнем багов даже на малболге.

[alll]

Тогда питоножабаскрипты должны требовать большей компетенции, нежели C++, что довольно сомнительно.

[alll]

Удивительно, что у C++ и Java метрика практически одинакова. Хотя казалось бы.

[thedeemon.livejournal.com]

Для проектов со 100+ звездами уже не одинакова:

[dmzlj.livejournal.com]

Из графика мы видим, что (в плане популярности) что эрланг как обычно в жопе, руби уже в жопе, го всё еще в жопе, а вот F# внезапен. На нём что, кто-то правда пишет?

[juan-gandhi.livejournal.com]

С эрлангом я не работал, а только трахался. Потому что те простые, но только что нечитаемые, программы рушились обычно сразу, как авторы садились в самолет СФО-Варшава. А мне трахайся и чини.

[volodymir-k.livejournal.com]

> статистическое исследование о связи числа баг-репортов и языков программирования

то есть на программы с определенными языками программирования юзеры даже не пытаются репортать баги: безнадёжно и неинтересно

лучше сразу выкинуть и взять аналоги

корреляция может иметь и другую каузацию: на кложуре-йерланге пишут синьоры, которые вообще всё пишут хорошо
вот какой основной ЯП у джунов?

ещё одна каузация: задачи, которые решаются определёнными ЯП, имеют разную степень специфицированности, часть ишью может быть фича реквестами


КСТАТИ

а как вообще они различали в ишьюсах баги от фича реквестов и дурных хотелок юзера "я так вижу, у вас всё неправильно и кошка у вас дура!"

[voidex.livejournal.com]

> а как вообще они различали в ишьюсах баги от фича реквестов и дурных хотелок юзера
Там можно тегировать issue меткой bug

[nponeccop.livejournal.com]

Несколько возражений:

1. 10 звёзд - это очень мало. У моих проектов с 0 пользователей - по 40 звёзд.

2. Чарт отражает любовь авторов к бюрократии. Эрлангисты с рубистами просто бюрократию не любят, а джависты скрупулёзно малейшие бажики репортят.

У меня в одном закрытом проекте 500 ишшуёв, в том числе и дефекты. Кто-то может посчитать это демотивирующей бюрократией и не заниматься такой детализацией.

3. По поводу С++ - так и должно быть. Вокруг С++ много мифов, видимо распространяемых людьми, не работавшими в крестовых шопах и надрачивающими на опенсорс.

У меня в проекте за 15 лет было 2 (два) бага с повреждением памяти, и то в самом начале, пока низкоуровневые вещи писал. 0 утечек. Продвинутые фичи языка (за которые его часто ругают - шаблонное метапрограммирование, запутанное разрешение имён) - не используются. В результате от джавы отличается, внимание, только тем, что надо помнить про RAII и чтобы локальную переменную по ссылке не вернуть.

[binf.livejournal.com]

== Продвинутые фичи языка .. - не используются

STL, unique_ptr, вывод типов auto, move-перегрузки тоже в топку?

[migmit.livejournal.com]

Как бы им объяснить, что типы — это не только и не столько борьба с багами.

[valentin budaev (from livejournal.com)]

Автор же проверял один конкретный тезис апологетов статической типизации: "типы снижают количество ошибок". Кажется, число багов - вполне корректная метрика тут.

[nponeccop.livejournal.com]

Ещё соображение: баги с несовпадением типов в динамических языках тривиальны и фиксятся тут же, не попадая в трекер. Ну не могу я представить висящими 100 багов вида "пропущена запятая" или "вместо var написано vars". Да даже "раз в год вместо массива в таком-то месте приходит строка, непонятно откуда"

[thedeemon.livejournal.com]

Они могут просто выглядеть иначе: "при попытке использовать бэкап выбрасывается исключение undefined is not a function". А что там var вместо vars - это уже увидят потом, когда докопаются до причины.

dynamic vs static

[livejournal.livejournal.com]

Пользователь vasnake сослался на вашу запись в своей записи «dynamic vs static (http://vasnake.livejournal.com/187640.html)» в контексте: [...] Попалась [...]

[dewshick.livejournal.com]

получается что js-либы типа left-pad c 10 строками кода,
сравнивались наравне с каким-нибудь жавовским хибернейтом в полтора миллиона строк?

вот уж действительно время писать на кложури

[max630.livejournal.com]

мне лень читать всю статью, интересно он код тестов включал в объём кода на который делил?

PS: понял, вопрос снимаю