Название связано с тем, что палаты были резиденцией братьев матери Петра I царицы Натальи Кирилловны и её самой. В здании, которое выглядит достаточно скромно, но благородно, сейчас здесь расположены действующий концертный зал и государственный литературный музей.