Hilarynak nincs nagy családja, de ebben a pici családban nagy a szeretet. Átsegítik egymást a bajokon, de akkor is ott vannak ha valami jó történik. Bob és Susan második gyereke. Van egy nővére, Haylie Duff, akit példaképének tekint a mai napig.

HAYLIE DUFF, Hilary nővére
A Hollywood-i sztártestvérek küzöl az idősebbik szokott előbb befutni, híres lenni. Ám ebben az esetben kivételbe ütközünk. Ennél a testvérpárnál, Hilary előbb lehh híres és Haylie neki köszönheti, hogy ma mi őt köszönthetjük a sztárok körében. A lányokküzütt 2 év a különbség, de ennek ellenére is a legjobb barátnők. Sok mindent csináltak együtt már kiskorukban is, Együtt jártak színjátszószakkorben. Ennek eredménye néhány évvel később közös filmjükben is megmutatkozott. A lányok a pácban című filmben ők ketten vltak a főszereplők. A film angol címe Material Girls, anyagias lányok, ezért el énekelték magonna material girls című számát. Nem csak ez az egy duoja van a két lánynak. És ez még nem minden. Nem csak ennyi közös van bennük. Együtt reklámozták Icebreakers rágógumit egy reklám erejéig. És ha már kampány akkor Got milk?, hiszen ennek is pózoltak együtt, egy kép erejéig. A hírnév nem vette el az eszüket és még így is próbálnak időt szakítani egymásra és törödni egymással. Mikor Hilarynak súlyproblémái voltak, Haylie segített neki a talpra állásban. A rendezvényekes sokszor pózolnak együtt. 2008-ban pedig az In Touch Weekly által felállíott 10-es skálán, legjobb sztártesók kategóriában Hilary és Haylie az 5. helyen végzett magukmögé utasítva a Hilton, Tisdale vagy a Lohan testvéreket is. Hilary példaképe Haylie.

LINKEK:
 MATERIAL GIRLS
 OUR LIPS ARW SEALED
 ICEBREAKERS 2005
 ICEBREAKERS 2006

SUSAN ÉS BOB DUFF, Hilary szülei
Hilary szüleiről már kevesebbet tudni. Az biztos, hogy Hilary anyja, Susan filmproducer ezért közremünködött a Lányok a pácban, a Tökéletes pasi és a Los Angeles-i tündérmese forgatásán, mint producer. Ő Hilary managere, zenei producere és háztartásbeli. 1953. május 12.-én, Texasban született Susan Colleen Cobb néven. Rengeteg paparazzi képen van rajta Hilary-vel. Vásárolgatnak, ebédelnek együtt párszor még a vörös szőnyegen is mutatkoznak együtt. Nagyon jó a kapcsolatuk, igazi anyja lánya kapcsolat,
Robert Bob Duff, Hilary édesapja. Róla tudni a legkevesebbet. Egy üzletlánc tulajdonosa. Hilarynak és Bobnak nem a legjobb a kapcsolata.
Hilary szülei 2006-ben elváltak 22 éve házasság után. Mégpedig azért mert Bob megcsalta Susan-t. Hilary-t ez nagyon megviselte, és talán emiatt nem látni túl sokszor apjával. Terápiaként írta a Stranger és Gypsy Woman című számát. Ebben a két számban a fájdalomról ír. "Ijesztő túl személyes dolgokról énekelni, mert aztán az emberek olyanokat fognak feltételezni rólad, ami valójában nem is igaz. Szóval például van az a szám, amiről mindenki azt gondolja, hogy Nicole Richie-ről szól. Valójában ott a szüleimről írtam, arról, hogy apukám megcsalta anyukámat. Az egy nagyon személyes dal."

EGYÉB ROKONOK
Katie Couric és Emily Couric heted unokatestvére, s Lance Armstong hatod unokatestvére.