在小說《知否知否應是綠肥紅瘦》中，齊衡歷經三段婚姻。他先娶了嘉成縣主，但不久后，妻子在申辰之亂中遭到不幸。隨后，他又娶了晉南申氏大族的嫡女，這位妻子為齊家的復興做出了巨大貢獻，并為齊衡生下一對龍鳳胎。然而，當齊衡調任到閩南時，他們不幸遭遇了時疫，母子三人無法幸免于難。齊衡的第三任妻子是慶寧大長公主的嫡孫女，她也為他生下了兩個孩子，但不幸在產后去世。此后，齊衡深深痛失愛侶，再也沒有譜寫新的婚姻篇章。