王茂荫出身于安徽歙县杞梓里的一个徽州茶商之家。王茂荫的高祖王文选中武举，“以孝义行于时”，“敦行乐善，乡里推重”，郡志《孝义传》有褒扬；王茂荫的曾祖王洪烈谨遵礼教，治家有方，不仅对弟弟极其友爱，而且“敦宗睦族，修祠建宇，善劳不伐，好急人之急。暑施浆，寒施衣，饥施食，病施药，有所请，无不立应”，“为人排难解纷得片语立决，乡人无不敬而爱焉”。王茂荫的祖父王槐康，因“家既寒窘，思负米养亲”，于是毅然背井离乡，“从族人习賈于京师”，走上经商做生意的艰辛之路，后在北通州创设了森盛茶庄，贩茶于南北，“每岁浮海往来，积奇赢以供甘脂，不避风涛”。王槐康“克承父志，尤笃于追远报本，修祖祠，置墓田，敦宗睦族，恤孤怜贫，于造桥、修路、兴水利、施医药诸善举，恒以身任其劳，孜孜不倦”。可惜年仅30岁即劳累而殁。

    王茂荫的父亲王应矩业賈就儒，“以贫故废学”，在家主持家政，一力弘扬祖德，“嗜义若饥渴”，在乡间做公益事业能力很强，为宗族“增祀产、扩祖祠”，为乡民“施棺木，以掩枯骸”，还主持修造石桥，开辟了两条山路。在督修衡山山路时，特别叮嘱不可增加村民负担，不能中途停工，一定要开成便民，为此，王应矩“殚精毕力”，一直到死。王茂荫四岁时生母洪氏即去世，由祖母方氏“抱同卧起”、“昼夜操劳”，抚育成人。王茂荫祖母方氏，出身徽州文化世家，“幼读《女训》《女戒》诸书，能通大义，”慧敏于女红针线，孝顺侍奉长上。出嫁以后，还做女红到四更天，做针线换米接济父母。对四个姊妹，也“量力资给之”。方氏还曾自撰《长恨歌》，痛述徽人经商颠沛之苦、己身遭际之艰、养育教子之情，“读者闻之，无不泪下”。方氏老祖母在王茂荫中进士任京官时，并不认为这是王氏家族当官发财的好机会，而是特别告诫孙子：“吾始望汝辈读书，识义理，念不及此。今幸天相我家，汝宜恪尽乃职，毋营财贿，愿汝无忝先人，不愿汝跻显位，致多金也”。一个徽州乡村的徽商妇，在孙子人生的重要关口，能深明大义，教导其为国尽忠，做清官好官，金玉良言，实为不易。