Ну вот, короче, вступил на путь численных методов, и понял, что скорость — это прям наше все. Особенно когда ты студент-физмат и надо курсовую сдавать, а комп еле дышит. Делюсь тем, что мне помогло, может, и вам пригодится.

• Профилирование кода. Сначала я просто писал, как бог на душу положит. Потом понял, что надо смотреть, где именно проц тормозит. В Python есть всякие там cProfile, в C++ — gprof. Штука реально полезная, чтобы не гадать, а знать, куда силы бросить
• Выбор правильных библиотек. Если пишешь на Python, не надо изобретать велосипед для матричных операций! Используй NumPy. Это прям мастхэв. Для более сложных штук типа решения СЛАУ есть SciPy. Не заморачивайся с ручной реализацией, если не ставишь себе такую цель.
• Алгоритмы. Вот тут надо мозг включить. Иногда простая смена алгоритма дает офигенный прирост. Например, вместо наивного метода Гаусса для больших систем — метод сопряженных градиентов. Конечно, он не всегда применим, но если подходит — песня!
• Параллельные вычисления. Если задача большая, а у тебя много ядер — почему бы не использовать? Даже на школьном уровне можно кое-что набросать с multiprocessing в Python, а в университете уже идут дела посерьезнее с MPI или OpenMP.
• Кэширование результатов. Если ты решаешь одну и ту же подзадачу много раз с одинаковыми параметрами — сохраняй результат! Это не всегда очевидно, но иногда прям спасает.

Главное — не бояться экспериментировать и смотреть что реально работает. Эта вся математика и физика только тогда оживают, когда ты можешь ее быстро посчитать и увидеть результат. Удачи!