С 1861 года Иван Семенович командовал Хоперской казачьей бригадой Кубанского казачьего войска. С 1871 года выходит в отставку и переезжает в Ставрополь. Здесь он купил часть усадьбы у жандармского капитана Василия Бетаки, где построил каменный дом с необычной мансардой. Здание, по основным элементам, выполнено в стиле классицизма: строгие линии, симметричный первый этаж, но мансарда второго этажа выбивается из строгих рамок, сочетая в себе разные элементы, давая интересный пример архитектурной эклектики.

Именно в этом доме отставной генерал написал свои основные труды по истории. Первой работой был труд о наказных атаманах Кавказского линейного казачьего войска, изданный в 1881 году. Затем вышла работа по истории гребенского казачества. Наибольшую известность принесла ему статья в журнале «Русская старина», напечатанная в 1886 году. В ней на основе своих личных воспоминаний и документов он рассказывал о военачальниках периода Кавказской войны – князе А.И. Барятинском, генерале Н.Н. Муравьеве и графе Н.И. Евдокимове.