Le père d’Hilary, Robert “Bob” Erhard Duff est propriétaire d’une chaîne de supermarché et Susan Colleen Cobb, productrice de cinéma. Ses parents sont actuellement divorcés.

Haylie Duff est la soeur aînée d’Hilary, mais elle est également sa meilleure amie. En effet, les deux soeurs sont très proches, se voient souvent et ont collaboré ensemble à de nombreuses reprises notamment pour le film « Material Girls ».