Впервые Зарайск упоминается в Никоновской (как град Осётр) и Ипатьевской (под названием Осётр) летописях в 1146 году. Впоследствии он, по всей видимости, был сожжен кочевниками. Следующее упоминание вновь отстроенного города относится к 1225 году: в «Повести о принесении иконы Николы Заразского из Корсуня» будущий Зарайск назван Красным. В этом году из Корсуня (Херсонеса) в Красный был перенесен чудотворный образ святителя Николая Чудотворца (Корсунского). Вскоре был построен деревянный храм в честь этого святого. Позже в этом храме был создан цикл «Повестей о Николе Заразском», к которому относится, в частности, Повесть о разорении Рязани Батыем. Первым известным удельным князем города был Фёдор Юрьевич, сын Рязанского князя Юрия Игоревича. При нём в городе был возведен дерево-земляной Острог, обнесенный валами и рвами с водой.
В 1237 году Красный был сожжен надвигавшимся на Русь Батыем. Согласно циклу «Повестей о Николе Заразском», князь Фёдор Юрьевич был убит Батыем на реке Воронеже, а жена князя, княгиня Евпраксия, не желая оказаться в татарском плену, вместе с малолетним сыном Иваном выбросилась из своего терема и «заразилась» (ударилась) до смерти. После этого икону Николы Корсунского стали называть иконой Николы Заразского. В этот период Зарайск назывался городом Святого Николы Корсунского и Заразском. Затем, вплоть до XIV века Зарайск в исторических источниках не упоминается. Вновь возникший в XIV веке город стал носить название Новгородок-на-Осетре.
В 1521 году вместе с Рязанским княжеством город был присоединён к Московскому княжеству. В 1528—1531 годах по приказу Василия III внутри Острога был построен каменный кремль. Возможно, в строительстве принимали участие работавшие в то время на Руси итальянские зодчие.
Город стал важным пунктом обороны на южных подступах к Москве в составе создаваемой Большой засечной черты. Уже в 1533 году кремль подвергся первому нападению крымских татар под предводительством Исляма I Гирея и Сафы Гирея. Одновременно с кремлем в 1528 году вместо деревянного Никольского храма был заложен каменный. В этот период город носил названия Николо-Заразской-на-Осетре, Никола-на-Осетре. В 1541 году город осаждал хан Крыма Сахиб I Гирей, который не смог взять кремль и был разбит воеводой Н. Глебовым. Нападения крымцев на город совершались также в 1542, 1570, 1573, 1591 годах.
В марте 1533 года город посетил Великий князь московский Василий III, а в 1550, 1555, 1556 и 1571 годах — его сын, Иван IV Грозный. В 1550 году по его повелению в кремле был возведен Иоанно-Предтеченский храм.
В 1551 году в Зарайске несет воинскую службу князь Андрей Курбский.
В феврале-марте 1607 года в окрестностях Зарайска происходили стычки между отрядами Ивана Болотникова и войсками Василия Шуйского. 30 марта 1608 года отряды Лжедмитрия II (именно, поляки полковника Александра Лисовского) разгромили в Зарайске рязано-арзамасское ополчение и заняли город. Город был освобожден 1 июня 1609 года отрядами рязанского ополчения под руководством Прокопия Ляпунова. В 1610—1611 годах зарайским воеводой был князь Д. М. Пожарский. Пожарский подавил в городе мятеж сторонников Лжедмитрия II, изгнал «воровской» отряд рязанского воеводы Исаака Сумбулова, перешедшего на службу к полякам, который захватил город в декабре 1610 года, а в начале 1611 года, примкнув к Первому ополчению, Пожарский выступил со своим зарайским отрядом на Москву.
В XVII веке за городом окончательно закрепилось название Зарайск.
В 1669 году в зарайском селе Дединово был спущен на воду первый русский военный корабль «Орел».
В 1673 году произошло последнее нападение крымских татар на Зарайск, и с конца XVII века город теряет оборонное значение и становится значительным центром ремесла и торговли на Астраханском тракте. В 1681 году Зарайск пережил опустошительный пожар. В том же году по указу царя Фёдора Алексеевича вместо обветшавшего каменного был построен кирпичный Никольский храм. В XVIII веке в городе развернулось каменное и деревянное строительство.
В 1778 году указом Екатерины II Зарайск получает статус уездного города Рязанского наместничества (с 1796 года — Рязанской губернии). Годом позже утвержден герб, а затем и регулярный план города с прямоугольной сеткой кварталов.