Įspūdingiausią parko medžių grupę - ąžuolų – augančią į pietvakarius nuo rūmų vainikuoja legendomis apipintas garsiausias ir garbingiausias parko medis - PERKŪNO ĄŽUOLAS.
1960 m. paskelbtas gamtos paminklu, o nuo 1987 m., - respublikinės reikšmės gamtos paminklas. Tai paprastasis ąžuolas (Quercus robur). Medis viršijęs gamtinę brandą ir yra rezignacijos fazėje. Lapuotumas apie 60 %. Medžio aukštis 26 m Medžio apimtis 0,9m aukštyje - 4,86m.
Spėjama, kad Plungės parko vietoje žiloje senovėje buvusi alkvietė. Parko ąžuolynas ir dabar sudaro tokio miško-alko įspūdį. Švento ąžuolyno centre augo ir seniausias, stipriausias trumpaliemenis ir plataus šakų vainiko ąžuolas. Po juo gyvenę dievai, pagonys buvę įrengę aukurą, čia amžinąją ugnį kurstė vaidilutės.
Manoma, kad šis ąžuolas auga nuo pagonybės laikų buvusiame šventajame miške. Su šiuo ąžuolu siejama graži legenda apie vaidilutės Galindos meilę ir supykusį Perkūną, kuris trenkė į ąžuolą. Nuo to laiko ąžuolas vadinamas Perkūno vardu. Kita legenda sako, kad į šį ąžuolą Perkūnas trenkė kai po žemaičių krikšto prie ąžuolo buvo užgesinta šventoji ugnis. Dar ir dabar jo kamiene tebėra žaibo žymės. Iš senųjų plungiškių atsiminimų sužinome, kad kunigaikščio Mykolo Oginskio žmona Marija po ąžuolu rengdavo vaidinimus vaikams ir jaunimui. Už ąžuolo, Babrungo slėnyje, gėlyne Oginskių laikais buvęs įrengtas saulės laikrodis.