Gotickému hradu předcházela vodní tvrz, o které hovoří písemné prameny poprvé v roce 1353 ve spojení se starým šlechtickým rodem Benešoviců.. Vodní tvrz, stejně jako pozdější hrad, byla postavena na uměle navršeném náspu. Dokola byla chráněna vodními příkopy, valy, hradbami a z východní strany pak rozvodněnou řekou Moravou. Důkazem existence tohoto opevňovacího systému je písemná zpráva z 18. století, kdy farář Matěj Moritz popisuje ve svých pamětech zbytky příkopů a zbylé trosky hradeb. O opevnění se dovídáme také z písemných zpráv Jindřicha Spáčila, který několikrát hovoří o hradbách, jež byly v rozích zpevněny baštami.
Tvrz byla v roce 1423 obléhána a poté vypálena, kým a kdo byl její obránce, není přesně známo. K vypálení došlo při tažení husitských vojsk na Moravu v roce 1423, v té době byla vypálena i nedaleká tvrz v Trávníku. Krátce nato ale došlo k jejímu obnovení, o které se postaral rod Kuželů ze Žeravic, jež v té době vlastnil nejen tvrz, ale i městečko Kvasice. Za jejich působení dosáhla kvasická tvrz rozsahu a výstavnosti gotického vodního hradu.
U tvrze i hradu byl použit jako stavební materiál pravděpodobně kámen a dřevo. Součástí hradu bylo předhradí situované zpočátku převážně na severní straně, v místech, kde se dodnes nachází hospodářské budovy zámku. Později přibyly předhradní budovy na západní a jižní straně. Samotný hrad měl půdorys dnešního zámku, svědčí o tom dvoumetrové obvodové zdivo a zbytek okrouhlé bašty ve východní části nároží budovy. Zdi i lichoběžníkový půdorys hradu o rozměrech 32x36x44 metrů později vyhovovaly stavitelům zámku a půdorys tak zůstal zachován dodnes. Díky tomu si můžeme představit, jakou rozlohu měl původní hrad. Do tohoto hradu se vcházelo ze severní strany přes padací most, který spojoval hrad s předhradím. V místech hradní brány je dnes vestavěno renesanční schodiště zámku. V sousedství brány byl gotický dvouprostorový palác, jehož vnitřní vzhled včetně valeného klenutého stropu se zachoval dodnes. Další palác se nacházel na protější straně, oba tyto paláce jsou podsklepeny. V jihovýchodním nároží byla hranolová věž o rozměrech 8x8 metrů s vnitřním prostorem 4x4 metry. Věž byla mírně nepravidelná a tvořila součást hradeb, zároveň také byla nejvyšší budovou hradu, pravděpodobně měla čtyři patra. Později byl přistavěn palác v jihovýchodním rohu nádvoří.
Jak již bylo výše řečeno, obranný systém hradu se skládal z příkopů, které byly plněny vodou. Ta ale nebyla přiváděna z Moravy vzhledem k tomu, že její hladina byla níž než vybudované příkopy. O dodávku vody se postaral potok Panenská, na kterém byl důmyslně vybudován systém několika rybníků, oddělených od sebe hrázemi. Z nich se dochovala pouze jedna, zvaná dolní hráz. Tato hráz je v místech, kde dnes vede silnice do Kroměříže přes potok Panenská. Odtud voda pokračovala do vyzděného kanálu, který vedl podél silnice až k zahradě číslo 11, pak přes cestu k zahradám číslo 12,13,14,15,16,18, dále kolem panského pivovaru, pivovarskou zahrádkou do zahrady panské, kde byl poslední malý rybník. Rybníků bylo pravděpodobně šest, první z nich byl od dolní hráze směrem k cukrovaru v místech, kde dnes stojí Proskowetzova vila /dodnes jsou vidět břehy rybníka / .Ten směřoval k hrázi prostřední, od ní byly další rybníky v místech, kde se dodnes říká polím Rybníky. Směrem k Bažantnici byla hráz horní a od ní směrem ke Karolinovu byly ještě další menší rybníky. Z tohoto systému se dochovala nejen hráz, ale také část vyzděného vodního kanálu, který se zachoval na náměstí před obecním úřadem. Tento kanál byl v minulosti mylně považován za tajnou chodbu z hradu.
Přeměna hradu na zámek byla započata v poslední čtvrtině 16. století za majitele Havla Kurovského z Vrchlabí. Podle erbů, které jsou druhotně umístěny v průjezdu zámku, je pravděpodobné, že přestavbu završila Anna z Oberheimu a Záviš Nekeš z Landeku. Výsledkem pak byl renesanční zámek s patrovými arkádovými ochozy a věží nad novým průjezdem, který vznikl proražením hradeb ze západní strany mezi dvěma paláci. V místě průjezdu bylo osazeno půlkruhové klasicistní schodiště, takže zcela zmizela zajímavá část dvakrát zalomeného ochozu. Renesanční dvouramenné schodiště bylo zřízeno v místě bývalé hradní brány v severozápadní části zámku a je vysunuto ven.
Za Rottalů byly provedeny jen malé změny interiéru příčkami, přidán balkon a rizality zadního křídla. V té době byl zámek dokonalou rezidencí barona Adama Jáchyma z Rottalu a interiér byl zařízen pro veškeré pohodlí a přepych. V interiéru zámku byla jídelna s velkým oválným stolem a 14 koženými židlemi, na stěnách visely dva Rottalské portréty, devět krajinomaleb a také třináct map. Ve dvou pokojích pána byly jeho zbraně, stěny zdobily portréty císaře Leopolda a jeho manželky a také čtyři podobizny králů a královen Španělska a Portugalska, bylo tu i 48 knih převážně německých a francouzských. Dále byl v zámku dívčí pokoj a vedle něj rohový pokoj, pak chodba před točitým schodištěm, zámecká kaple s úplným bohoslužebným vybavením. V místnosti vedle kaple byla lékárna, byl zde také pokoj pro slečnu a pokojík pro sloužící. Nad tím v horním patře byl žlutý rohový pokoj se žlutými koberci a záclonami, velkou postelí a obrazy, pak menší pokoj, dále věžní pokojík, vedle velký hostinský pokoj s dvěma postelemi, stoly, šesti koženými židlemi a jedenácti obrazy. Další rohový pokoj byl červený s velkým zrcadlem v pozlaceném rámu, sedmi obrazy, s postelí a šesti červeně potaženými židlemi a stolními přehozy stejné barvy. V patře byly ještě pokoje pro sloužící, pokoj pro duchovního a dále rohový pokoj nad kuchyní. V zámku byla velká kuchyně, jídelna pro úředníky, pokoj pro lokaje a několik dalších místností. Panské komnaty byly vybaveny kromě nábytku i záclonami, koberci a dalšími doplňky.
Velkou přestavbou zámek prošel na počátku 19. století za hrabat z Lamberku. I v této době byl interiér zámku přepychově vybavený. Ve druhém patře, kde byla jídelna ve stylu rytířského sálu, nechyběly na stěnách obrazy postav v brnění v životní velikosti. Byli na nich vyobrazeni bývalí majitelé zámku, Jan z Rottalu a hrabata Lamberkové. V sále nechyběly ani stříbrné svícny, velký dubový stůl a křesla. Byla zde také tajná komora, ukrytá za jedním obrazem, ve které byl uschován vzácný porcelán anglické výroby z 18. století pro 120 osob, jež se prostíral při významných příležitostech. V roce 1820 bylo upraveno okolí zámku a odstraněny poslední zbytky příkopů, valů a hradeb. Dále byly strženy hospodářské budovy směrem k městečku. Po provedení typické klasicistní fasády s konzolovou korunní římsou, lze renesanci zámku jen tušit.