Из истории Осташкова известно, что город дважды был окружён деревянной оборонительной стеной. Крепостные сооружения не раз страдали от пожаров, после чего их вновь восстанавливали. Однако после крупного пожара 1711 года жители решили больше не возводить крепостные укрепления.
В систему городской крепости входили три важные башни, которые выполняли не только оборонительные, но и хозяйственные функции. Это были Южная, Восточная и Северная башни, служившие своего рода таможенными пунктами. После того как крепость окончательно исчезла, на местах этих башен жители города установили памятные поклонные столпы, чтобы сохранить память о существовавших здесь укреплениях.
Один из таких памятников — Вальский столп — сохранился до наших дней. Он расположен на улице Володарского, на городском валу рядом с краеведческим музеем. Столп представляет собой монолитный четырёхгранный столб, завершённый шпилем. Памятник выполнен в стиле барокко и установлен на месте бывших Южных торговых ворот городской крепости.
Самой значительной считалась Восточная береговая проезжая башня. Она находилась у самой кромки воды на нынешней улице Орловского, рядом с домом № 10. Здесь располагалась главная городская таможня. К этому месту причаливали парусные суда, а купцы вели активную торговлю. На месте башни также был установлен памятный столп — полый четырёхгранник со шпилем. Он выполнял сразу две функции: служил памятным знаком и одновременно маяком для путников.
Этот маяк был частью зимнего торгового пути, который соединял Москву и Новгород. Зимник проходил по Волжской системе до Осташкова, далее шёл вдоль восточного берега острова Кличен к Ниловой пустыни, затем через Остроганы и остров Хачин, далее по Хретенской луке и реке Полоновке к Полнову, а затем через Валдайское озеро и озеро Ильмень к Великому Новгороду. На столпе в Осташкове, на шпиле Светлицкой башни — входных ворот Ниловой пустыни — и на маяке в монастыре в Полнове в любую погоду поддерживали огонь. Этот свет служил ориентиром для обозов и путников, особенно в ненастные дни.
В конце 1930 года, во время прокладки труб водозабора к строящейся городской бане, Вальский столп оказался на пути работ и был снесён.
Третий памятный знак находился на перекрёстке улицы Урицкого и Чайкина переулка. Он был построен в виде небольшой одноглавой часовни-восьмерика в стиле классицизма, с тремя окнами и дверью. Внутри находились иконы и настенные росписи. Часовня стояла недалеко от пристани предприятия «Звезда», которая ранее принадлежала Нилову монастырю. Здесь хранилась икона святой великомученицы Варвары — покровительницы моряков, водников и рыбаков. Перед иконой постоянно горела лампада, и в ненастную погоду рыбаки приходили сюда молиться и просить защиты. После национализации водного транспорта и рыбного хозяйства часовню разобрали, поскольку она мешала движению транспорта на этом месте.