Профилирование Python 3.15: Tachyon вместо cProfile и итоговый проект

cProfile: 7 секунд превратились в 195

• Наш отчёт по 1,5 млн трат на python:3.15-slim
• Без профайлера: 6.95 с
• Tachyon: 7.72 с · cProfile: 195 с
• В статье CodeCut: +4% против ×3.4

Трекер расходов строит отчёт по полутора миллионам трат почти семь секунд. Хочется понять, что тормозит, и вы запускаете классический профайлер. Через три минуты он всё ещё работает. Мы замерили честно: без профайлера — шесть и девяносто пять сотых секунды, под классическим cProfile — сто девяносто пять секунд, почти в тридцать раз дольше. А новый профайлер Tachyon из 3.15 — семь и семь десятых. Разберёмся, почему такая разница и как искать узкие места правильно.

$ python pipeline.py                          #   6.95 с
$ python -m profiling.sampling run pipeline.py # 7.72 с
$ python -m cProfile pipeline.py              # 195 с

Правило номер один: сначала измерь

• Кнут: «преждевременная оптимизация — корень всех зол»
• Интуиция о медленном месте ошибается чаще, чем угадывает
• Порядок: замер → профиль → правка → замер

Дональд Кнут когда-то сказал, что преждевременная оптимизация — корень всех зол. Смысл простой: разработчики почти всегда ошибаются, когда угадывают, где программа медленная. Вы тратите день на ускорение функции, которая занимала два процента времени, и не замечаете ту, что занимала шестьдесят. Поэтому порядок всегда один: замерили общее время, нашли профайлером горячее место, исправили именно его и замерили снова. Без второго замера вы не знаете, помогла ли правка.

timeit: точный замер маленького кусочка

• python -m timeit — много повторов, лучший результат
• Сравнивает варианты одной операции
• Для целой программы — профайлер, не timeit

Начнём с самого маленького инструмента. Модуль timeit запускает кусочек кода тысячи раз и показывает, сколько занимает один запуск. Он идеален, чтобы сравнить два способа сделать одно и то же: например, найти категорию регулярным выражением или обычным поиском в словаре. Разница в нашем замере — почти в четыре раза, а на миллионах трат это уже секунды. Но timeit ничего не скажет о целой программе — для этого нужен профайлер.

$ python -m timeit -s "import re" \
    "re.search('такси', 'Такси', re.IGNORECASE)"
500000 loops, best of 5: 593 nsec per loop

$ python -m timeit -s "d = {'такси': 'Транспорт'}" \
    "d.get('Такси'.lower())"
2000000 loops, best of 5: 163 nsec per loop