Но сколь ни одинок был преподобный в это время, слухи о его пустынничестве шли. И вот стали являться люди, прося взять к себе, спасаться вместе. Сергий отговаривал. Указывал на трудность жизни, на лишения, с ней связанные. Жив еще был для него пример Стефана. Все-таки — уступил. И принял нескольких…
Построили двенадцать келий. Обнесли тыном для защиты от зверей. Келии стояли под огромными соснами, елями. Торчали пни только что срубленных деревьев. Между ними разводила братия свой скромный огород. Жили тихо и сурово.
Сергий подавал во всем пример. Сам рубил келии, таскал бревна, носил воду в двух водоносах в гору, молол ручными жерновами, пек хлебы, варил пищу, кроил и шил одежду. И наверно, плотничал теперь уже отлично. Летом и зимой ходил в той же одежде, ни мороз его не брал, ни зной. Телесно, несмотря на скудную пищу, был очень крепок, “имел силу противу двух человек”.
Был первым и на службах.