徐惠出身东海徐氏，为南朝梁慈源侯徐文整四世孙女，陈始安太守徐综之曾孙女，延州临真令徐方贵的孙女，祖母江夏黄氏，南朝陈司空忠武公之女。唐果州刺史徐孝德长女。弟弟徐齐聃，侄子徐坚，史书都有传。妹妹为高宗婕妤，也有文采。当时人们因为徐氏姐弟三人文
