🔤🔤🔤 🔤🔤🔤🔤🔤🔤 🔤 🔤🔤🔤🔤🔤🔤 🔤🔤🔤🔤🔤🔤🔤 🔠🔠🔠 Ключевая идея: не загружать файл целиком — читать потоками, обрабатывать и сразу сохранять результат. Pandas — удобный и практичный путь for chunk in pd.read_csv("huge.csv", chunksize=100_000, usecols=["id","amount"], dtype={"id":str}): chunk = chunk[chunk["amount"]>0] chunk.to_csv("out.csv", mode="a", header=first, index=False) first = False — указывайте usecols, dtype и не парсите даты по умолчанию. Низкоуровневый поток — минимальная па...
Python на примерах
Короткие уроки Python на примерах
Графики
📊 Средний охват постов
📉 ERR % по дням
📋 Публикации по дням
📎 Типы контента
Лучшие публикации
20 из 20PySnooper PySnooper — это библиотека для Python, которая позволяет вам добавлять отладочные точки в ваш код для отслеживания значений переменных и выполнения дополнительных действий при выполнении программы. Это полезный инструмент для отладки, поскольку он позволяет вам легко исследовать, какие значения принимают переменные в определенный момент времени и какой код выполняется. При выполнении функции из примера PySnooper будет записывать значения переменных и их изменения во время выполнения фу...
Перемещение файлов в Python Для удобной манипуляции с файлами и папками в стандартной библиотеки Python существует специальный модуль shutil. Функция shutil.move(source, destination) позволяет вам переместить любой файл или папку (даже непустую). Обратите внимание, что если destination — это уже существующая папка, то файл/папка будет перемещена внутрь неё, в остальных случаях файл/папка будут скопированы точно по нужному адресу. В случае успеха, функция вернёт новое местоположение файла. Если d...
Упрощаем работу с SQL Автор FastAPI придумал SQLModel, который упрощает работу с базами данных. Он объединяет в себе Pydantic и SQLAlchemy. Установка: pip install sqlmodel Таким образом работу с движком БД мы перекладываем на SQLAlchemy, а обработку данных, проверку и перевод в нужный тип на Pydantic. Кстати, библиотека хорошо работает с fastapi. Вряд-ли это из-за того, что автор один и тот же.
Это спасёт вас от кучи багов Просто знайте, что round(x) округляет x до ближайшего чётного числа, а не так, как мы привыкли (3.5 => 4; 2.5 => 3). Если вам нужно, чтобы 2.5 округлялось до трёх, то посмотрите в сторону decimal с настройкой ctx.rounding = ROUND_HALF_UP
SpaCy SpaCy — это библиотека для обработки естественного языка (NLP) на языке Python. Она предоставляет инструменты для сегментации текста, анализа грамматики, извлечения информации и многих других задач, связанных с обработкой текста. Библиотека предоставляет множество инструментов для более сложных задач обработки текста, таких как анализ тональности, извлечение ключевых фраз, машинное обучение и многое другое. Подробнее про SpaCy
PySnooper PySnooper — это библиотека для отладки, которая позволяет логгировать каждую строку выполняемого кода вместе со значениями переменных. Она полезна, когда нужно понять, как работает код и где происходят изменения переменных. Для использования необходимо декорировать функцию, которую нужно отладить с помощью @pysnooper.snoop(). Вид лога можно настроить с помощью параметров: variables — какие переменные отображать, depth — максимальная вложенность структур данных, prefix — префикс для каж...
Что такое аннотация типов? Аннотации типов (type hints) позволяют указать ожидаемые типы аргументов функций и возвращаемых значений. Они были введены в Python 3.5. Аннотации типов не проверяются во время выполнения кода. Это просто подсказки для разработчиков и инструментов статического анализа кода. Поддерживаются встроенные типы (int, float, str, bool и т.д.), а также классы, списки, словари и кортежи с указанием типов внутри. Для необязательных аргументов используется Optional[] (например, Op...