Piliakalnis (Birutkalnis) įrengtas kranto kyšulyje, Dubysos kairiajame ir Gryžuvos dešiniajame krantuose, ties šių upių santaka. Padavimas byloja, kad priešai buvo užpuolę ir apsupę Švilpos ir jo žmonos Birutės pilį. Matydama, kad gynėjai neatsilaikys, Birutė vieno akmens įdubime paslėpė vyro jungtuvių proga dovanotą deimantą. Paskui tarnai akmenį sulipdę ir užkasę į žemę. Birutė žuvusi tame mūšyje, buvo palaidota piliakalnyje, vadinamame Birutkalniu. Jos vyras Švilpa žuvęs vėliau. Iš to laiko buvo likę 7 akmenys, iš kurių viename esą paslėptas deimantas.