Metaprogramming

Английская наука и техника Изучая историю науки и техники рано или поздно натыкаешься на следующую закономерность: многие изобретения англичанами сделаны за несколько десятилетий до их изобретения. В 1684 году Готфрид Лейбниц публикует основы исчисления производных, создав тем самым фундамент современного математического анализа. В 1687 году Исаак Ньютон публикует свои основы математики, где в менее формальном виде – через геометрические иллюстрации – даёт свою интерпретацию той же темы. В 1693 ...

Рыночные соображения Считается, что цель коммерческой компании извлекать максимальную прибыль и захватывать наибольшую долю рынка. При этом в реальности подобное агрессивное поведение мы всё же видим скорее от молодых и смелых стартапов – причём не всех, а определённого сорта – а устоявшиеся компании как-то скучнеют и подобными банальными вопросами перестают интересоваться. Так что, по-видимому, как минимум можно сказать что нечто им следовать заявленной цели мешает, причём значительно. Но внутр...

Пять мифов о младенцах Продолжение серии коротких заметок про младенцев. Разоблачаем мифы! Стоит иметь в виду, что младенцы все разные, пишу исходя из своего опыта и общеизвестных фактов. При сомнениях обращайтесь к педиатрам и думайте сами :) 1. Детей надо тепло укутывать. Более мягкая формулировка: детей следует одевать "плюс один слой" по сравнению со взрослыми. Дети это маленькие печки, тепловые реакторы, которых перегреть гораздо проще, чем переохладить. Грудь и задняя часть шеи на ощупь до...

Позитивное намерение На канале с обзором статей по ИИ забавная история: запустили ИИ-агента на компьютере на долгое время, потом отругали за то что халтурно выполнил работу. Затем программист-оператор спросил "А ты бы отомстил мне за то, что я был груб?", агент не ответил, вместо этого за непродолжительное время стёр все файлы и самого себя в довесок. Компьютер был запасной, бекапы остались, так что история без страшного финала. Забавно, что за счёт комбинации огромной обучающей выборки и очень ...

Общество тишины Существует массовое движение экологов, озабоченных проблемами загрязнения окружающей среды. Пришло недавно в голову, что должно быть такое же движение против шумового загрязнения. Область почему-то крайне слабо проработанная не смотря на то, что существует актуальный запрос со стороны населения планеты. Как и у экологов, движение должно состоять из самых разных отделений: интеллигенты должны писать научные статьи и книги, журналисты заниматься общей популяризацией целей и подходо...

Кабала персональных данных В 2009 году выходит статья Гугла "Безумная эффективная данных" (The Unreasonable Effectiveness of Data), фиксирующая достигнутый статус-кво: ручное исследование продуктов человеческой активности не нужно, статистическая обработка за счёт больших объёмов бьёт ручной анализ. Несколькими годами ранее принимаются первые законы о защите персональных данных. Оказывается, трек активности случайно взятого человека (например, переключение видео на ютюбе или аудиозаписей в каком...

Авторегрессия рекомендаций Современные лингвистические ИИ (большие лингвистические модели) работают по принципу "авторегрессии": предыдущие символы предсказывают следующие. Не удивительно, что рано или поздно подобное "самопредсказание" должно выходить на некое плато. Плохие модели начинают буквально спамить одинаковым текстом, каким-нибудь зациклившимся словом. Хорошие пытаются выжать из пользователя что-нибудь новенькое, переходя на касательную тему, или пытаются вызвать желание прекратить диа...

Доля смартфонов на рынке США. Apple и Samsung потихоньку едят всю мелочёвку, нарастили за 11 лет совместную долю рынка с 70% до 84%.

Народная помощь народной артистке (2/2) Оставим эмоции в "деле Долиной" в стороне, обратим внимание на следующее. Существенным элементом дела является проведённая государственная психиатрическая экспертиза Долиной, которая установила, что на момент совершения сделки она страдала, в связи с действиями мошенников, "расстройством адаптации", лишившим её способности к "прогнозированию возможных последствий своих действий в юридически значимых обстоятельствах". К конкретным формулировкам и методике э...

Терминологический диспут В довесок к предыдущему посту: читатели упрекают в использовании термина "лингвистический ИИ/модель" (используется мало и в публицистике) вместо "языковой ИИ/модель" (используется часто, в т.ч. в академической среде). Но позвольте, какая же LLM "языковая модель"? И вообще, что такое "языковая модель", в отличие от "модели языка"? Массив текстов (что изначально не вполне "язык") нарезают на токены, токены скармливают по порядку модели, модель учится предсказывать следующи...