Kazys Varnelis (1917 – 2010 m.) buvo Lietuvos ir išeivijos dailininkas, kūryboje naudojęs konstruktyvizmo, minimalizmo ir optinio meno elementus, tačiau jis žinimas ne tik kaip dailininkas, bet taip pat kaip kolekcininkas ir bibliofilas. Būdamas studentu jis keliavo po Lietuvą, rinko meno kūrinius, juos fotografavo, piešė. Nemažai profesionalaus meno kūrinių įsigijo Frankfurto, Paryžiaus, Vienos ir kitų miestų aukcionuose. Jo kolekcijos pagrindu buvo įkurtas Kazio Varnelio muziejus.

Muziejus įsikūręs Didžiojoje gatvėje, vienuose iš seniausių Rotušės aikštėje išlikusių mūrinių pastatų – Mažosios gildijos ir Masalskio namuose. Šie pastatai – puikūs Vilniaus gotikos pavyzdžiai, menantys XV a. pradžią. Įspūdingi rūsiai dekoruoti gotikiniais kryžminiais ir cilindriniais skliautais, puoštais XVIII a. tapyba. Pirmojo aukšto skliautai taip pat gotikiniai, labai daug autentiškų senosios architektūros detalių – nišų, langų, durų angų.

K. Varnelio kūrybos ir kolekcijos ekspoziciją sudaro: grafikos, kartografijos, tapybos, skulptūros, keramikos, Rytų meno, istorinių baldų ekspozicijos, paties Kazio Varnelio kūriniai bei biblioteka.

Grafika, kurią galima suskirstyti į dvi dideles dalis: pirmąją sudaro Lietuvos ir Lenkijos valdovų, didikų istoriniai portretai (XVII – XVIII a.). Kita grupė – didžiųjų Vakarų Europos grafikos meistrų: Dürerio, Jacqueso Callot, Francisco Goya ir kitų kūriniai.

Kartografijos kolekciją sudaro apie 150 žemėlapių, kuriuos sukūrė garsiausi Europos meistrai. Čia eksponuojami beveik visi svarbiausi Lietuvos kartografijos raidą iliustruojantys senieji Lietuvos žemėlapiai.

Tapybos kolekcijoje surinkti kūriniai, atspindintys renesanso, baroko, neoklasicizmo stilių tendencijas, aliejinės tapybos raidą Italijoje, Prancūzijoje, JAV. Taip pat eksponuojami portretai, peizažai, žanrinė ir religinio turinio tapyba.

Skulptūros kolekcijoje vėl gi išsiskiria du rinkiniai: marmuro biustai ir bronzos liejiniai, daugiausia sukurti XVIII–XIX a. prancūzų ir anglų skulptorių.

Keramikos rinkinyje svarbią vietą užima italų majolikos kolekcija ir XVIII-XIX a. Europos porceliano rinkinys, kuriame išsiskiria žanrinės rokoko ir neoklasicizmo stilių statulėlės.

Rytų meno kolekcijoje derinami taikliai parinkti įvairių epochų bei įvairia technika sukurti darbai: japonų Ukiyo mokyklos spalvoti medžio raižiniai, tapyba ant ryžių popieriaus ir šilko, japonų kaligrafija, porcelianas, bronziniai indai.

Istoriniai baldai nuosekliai atspindi skirtingas epochas bei stilius nuo renesanso iki XX a. modernizmo. Vertingiausi – XVI a. italų renesansui būdingi stalas su išdrožinėtomis chimeromis, indauja bei fotelių rinkinys.

Su senovės meno pavyzdžiais eksponuojami modernūs Kazio Varnelio kūriniai. Tai žymiausios XX a. 7–8 dešimtmečių konstruktyvistinio periodo drobės ir skulptūros, taip pat paskutiniojo dešimtmečio kūriniai.

Biblioteka – neatsiejama kolekcijos dalis, ją sudaro bemaž 7 tūstančiai tomų. Didesniąją kolekcijos dalį sudaro meno albumai, dailės ir architektūros istorijos studijos. Taip pat yra knygų, įeinančių į pasaulio gražiausiųjų knygų „aukso fondą“. Senosios lituanistikos kolekcijoje yra chrestomatinių kronikų su Lietuvos Didžiosios Kunigaikštystės aprašymais.