杜牧是杜佑的孙子。杜佑在812年去世时，杜牧已经十来岁了。《旧唐书》卷147记载：杜佑曾作镇扬州，“家财巨万，甲第在安仁里，杜城有别墅。亭馆林池，为城南之最。”所以，杜牧对昔日的繁华是经历过，也记得的。但杜牧的父亲是杜佑的幼子从郁，去世较早。杜牧的伯父式方，但未必是杜佑的长子，在822年去世。史言：“季弟从郁，少多疾病，式方每躬自煎调，药膳水饮，非经式方之手，不入于口。及从郁夭丧，终年号泣，殆不胜情。”又言杜佑有三子，杜佑身后，“子师损嗣，位终司农少卿”；师损可能是杜佑的长子或嫡子。史中对师损别无称述；杜牧在自己的诗文中也没有提到。想来是比较平庸，乏善可陈。

　　从郁先去世，伯父式方去世后，不久这杜家的三房可能就分家了。杜牧后来在《上宰相求湖州第二启》中说：“幼孤贫，安仁旧宅，置于开元末。某有屋三十间，去元和末，酬偿息钱，为他人所有，因此移去。”又，《上宰相求杭州启》云：“某于京中，唯安仁旧第三十间支屋而已。”可见，杜家安仁里的宅子，在杜佑之前已经置下了——京兆杜氏，自魏晋以来就是高门氏族——只是杜佑发达后，加以改进，扩大规模而已。这个甲第，自然是分成若干单元。其中在杜牧名下（杜牧上有兄，下有弟）的有三十间，自成院落，有相对的独立性。所以才会也才可能转手给别人。

　　杜牧的堂兄弟，伯父式方之子杜悰，在814年娶岐阳公主，是驸马都尉。而式方共有四个儿子，他们都应分有安仁里的甲第。杜牧因为父逝身孤，伯父式方逝后，少人照应；分门立户后，经济上各自独立，坐吃山空。用继承的安仁里房产偿债，此后“八年中，凡十徙其居。有一竖，挈书百卷，随而养之。奔走困苦，无所容庇。归死延福私庙；支柱欹坏而处之。”（《上宰相求湖州第二启》）延福里和安仁里不在一处。但它是杜家私庙，也还是杜家产业。所以穷极无聊时，杜牧的家人在那里还可暂时栖身。

　　上引杜佑本传说：“杜城有别墅；亭馆林池，为城南之最。”这个别墅在城外，就是所谓樊川一带。杜牧《上知己文章启》云：“终南山下有旧庐，颇有水树，当以耒耜笔砚，归其间。”杜牧还有到那里居住，亦耕亦读的想头哩。主要是喜欢那里优美的山水风景。在《长兴里夏日寄南邻避暑》云：“永日一欹枕，故山云水乡。”午睡时还梦到樊川别墅。

　　此外，杜家在洛阳东都也有房产。杜牧在《分司东都寓居履道，叨承川尹刘侍郎大夫恩知，上四十韵》：“赐第成官舍，佣居起客亭。”句下自注云：“某六代祖，国初赐宅在仁和里；寻已属官舍。今于履道坊居止。”不知杜家在洛阳城里的宅子在何时脱手的。总之是杜牧来洛阳为官时，已不得不赁房住了。言下不免怃然。

　　关于安仁里的宅子，杜牧是这样向侄儿描摹的：“旧第开朱门，长安城中央。第中无一物，万卷书满堂。家集二百编，上下驰皇王。多是抚州写，今来五纪强。尚可与尔读，助尔为贤良。”（《冬至日寄小侄阿宜诗》）杜牧注重的不是这个宅第，而是从先人手里继承下来的藏书。在《上知己文章启》中，杜牧也说：“上都有旧第，唯书万卷。”

　　所有这些，都是杜牧祖上遗下的产业；杜牧虽说不很看重，实际也逐渐被消耗掉了。但这并非杜牧之本意。他在江南为官时，曾在太湖西边的阳羡置有产业。《许七侍御弃官东归，潇洒江南，颇闻自适，高秋企望，题诗寄赠十韵》云：

　　“尘意迷今古，云情识卷舒。他年雪中棹，阳羡访吾庐。”自注：“于宜兴县近有水榭。”《李侍郎于阳羡里富有泉石，牧亦于阳羡粗有薄产，叙旧述怀，因献长句四韵》：“终南山下抛泉洞，阳羡溪中买钓船。”自注中说的宜兴，诗题中说的阳羡都是同一个地方。清人冯集梧在《樊川诗集注》中引倪瓒《荆溪图序》：“苏子瞻曰：唐杜牧之构水榭于溪旁，至今历历可考。”杜牧诗中所说阳羡溪，就是荆溪；荆溪自西向东注入太湖，宜兴在荆溪北边。冯氏又引《一统志》云：“杜桥在宜兴城东门外，一名上桥，俗呼蛤蟆桥，相传为杜牧水榭故址。”可见杜牧此处房产离荆溪甚近，而且就在城边。（关于荆溪、宜兴和阳羡，参看顾祖禹《读史方舆纪要》卷二十五）

　　后一首诗中把阳羡薄产和终南旧庐捏合在一起。所以，杜牧在南方所置这处产业，也是以山水占胜。《正初奉酬歙州刺史邢群》：“明时刀尺君须用，幽处田园我有涯。一壑风烟阳羡里，解龟休去路非赊。”杜牧明确表示自家休官后是要享用那“一壑风烟阳羡里”的。可惜，我们的诗人无此清福，没有最终消受吴侬软山温水。据杜牧《自撰墓志铭》，诗人是五十岁寿终于安仁里老宅里的。这里边有个疑问，就是安仁里的杜牧的房产，为偿债，早已为他人所有——如何又能回去住？