在遍尝人生的况味后，历经三十年的改写，《色，戒》发表于《半生缘》之后的十年，……它是胡、张尘封十八年恋情的最后回眸，这又是张爱玲的一次不经意地坦露自己。张爱玲在一九七一年接受水晶先生的访问时，曾称“《传奇》里的人物和故事，差不多都‘各有所本’的”，而张子静在张爱玲去世后所写的《我的姐姐张爱玲》一书中，更明确地指出，《金锁记》的故事、人物脱胎于太外祖父李鸿章次子李经述的家中；而《花凋》则是写张爱玲舅舅黄定柱的三女儿，也就是她三表姐黄家漪的故事。学者冯祖贻则指出，《创世纪》是以张爱玲的六姑奶奶，也就是祖母李菊耦的妹妹（任家）的故事为底本的，另外《茉莉香片》则活脱脱是上海张爱玲的家，主人公聂传庆就是张子静（当然也有张爱玲的投影）。而这都指向张爱玲的小说可说是一个家族的小说，虽然这个家族已从繁华走向没落，但张爱玲作为旧家族的一员，她凭借着“记忆”，揭示了他们无可挽回的没落以及种种挣扎；而童年的不幸经历，又使她毫不留情地鞭笞着这没落贵族的“猥琐，难堪，失面子的屈服”，于是“苍凉”成为她《传奇》小说的总主题。

    不同于她的家族小说，发表于一九七八年四月十一日《中国时报》人间副刊的《色，戒》，也被认为是“有所本的”，香港学者兼影评家陈辉扬在其《梦影录》一书中就说：“我一直认为《色，戒》的材料来自胡兰成，因为易先生和王佳芝的故事，是根据郑苹如谋刺丁默邨一案而写成的。其中种种细节，只有深知汪精卫政府内情的人才能为张爱玲细说始末。”

    而张爱玲在一九八三年由皇冠出版社集结《色，戒》、《浮花浪蕊》、《相见欢》、《多少恨》、《殷宝滟送花楼会》、《五四遗事》和电影剧本《情场如战场》为《惘然记》一书出版时，曾在序中谈到《色，戒》、《相见欢》和《浮花浪蕊》：这三个小故事都曾经使我震动，因而甘心一遍遍改写这么多年，甚至于想起来只想到最初获得材料的惊喜，与改写的历程，一点都不觉得这其间三十年的时间过去了。爱就是不问值不值得。这也就是“此情可待成追忆，只是当时已惘然”了。因此结集时题名《惘然记》。由此可见她非常喜欢这些自外界获得的材料，并且从一九五年左右就写成，期间又经过三十年的改写。至于她没有提及材料得之于胡兰成，甚至在《色，戒》发表后的同年十月一日有署名“域外人”的《不吃辣的怎么胡得出辣子？——评〈色，戒〉》一文的严厉批评时，张爱玲在一个多月后的十一月二十七日发表《羊毛出在羊身上——谈〈色，戒〉》的反驳文章，亦没有提到“胡兰成”三个字，只说：“这故事的来历说来话长，有些材料不在手边，以后再谈。”几句话避重就轻地带开。这是由于张爱玲和胡兰成分手后，“胡兰成”三个字，似乎在张爱玲的记忆中清除。

    “最是伤心终无言”，胡兰成对张爱玲的伤害，正如曼桢在《半生缘》中的感受——“不管别人对她怎么坏，就连她自己的姐姐，自己的母亲，都还没有世钧这样的使她伤心。”在当时张爱玲的心境恐怕是“不管别人对她怎么坏，就连她自己的父亲，自己的母亲，都还没有胡兰成这样的使她伤心”。因此即使最亲近的友朋如宋淇者，都避谈胡兰成的事，在张爱玲面前，胡兰成是谈话的禁区。也因此张爱玲没提及材料得之于胡兰成，实不愿再触及情伤及因胡兰成而再度遭致“汉奸”污名的攻讦。张爱玲虽然在一九四三到一九四五两年内，红极一时，但在抗战胜利后，虽然没有被南京政府正式定为“文化汉奸”的罪名，但社会舆论却欲置她于死地而后快，她的文学活动甚至于私生活，都成为公众谩骂的焦点。从一九四五年八月到一九四六年十一月的一年多，她甚至没有发表过一篇文章，而事实上也没有机会让她发表。直到同年底，张爱玲借《传奇增订