Des pilotis touvés à l'emplacement de l'île de la Harpe prouvent que le site était habité du temps des lacustres. C'est en 1264 que le comte Pierre II de Savoie, le "Petit Charlemagne", construit un château fort pour protéger un lieu d'embarquement. En 1319, Louis II de Savoie fonde la ville pour affermir son pouvoir et narguer le sire de Mont. Au cours des siècles, le château de Rolle, typique "carré savoyard", est habité par de nombreux seigneurs qui le transforment et le complètent selon leurs goûts.

A deux reprises, il est incendié par les troupes bernoises: en 1530 quand ils vont au secours de Genève assiégée par le duc de Savoie, et en 1536 lorsqu'ils conquièrent le Pays de Vaud. En 1802, les "Bourla Papey" (Brûle-Papier en patois) croient se libérer de la tyrannie en y détruisant les archives de la baronnie.