El Col·legi de l'Art Major de la Seda està ubicat en un edifici adquirit pel Gremi de Velluters en 1494. Esta corporació gremial, que agrupava els teixidors de vellut de la ciutat de València, es va constituir el 16 de febrer de 1479. Prompte es va convertir en la corporació gremial més important de la ciutat, i els seus membres van jugar un paper molt destacat en la revolta de les Germanies.
Després de la decadència del segle XVII, en l'últim terç de la centúria, va començar a experimentar una reactivació. Com a conseqüència, el gremi va rebre el privilegi de Col·legi de l'Art Major de la Seda en 1686 pel rei Carles II.
L'edifici va experimentar una intensa ampliació i reforma a mitjan segle XVIII, moment en què es va construir el Saló de la Fama. Es tracta de la Sala de Juntes en la qual es reunien els càrrecs dirigents de la corporació i constituïx l'estança principal de l'escola. La decoració d'esta sala representa un microcosmos compost, per la part celestial, amb un fresc en el sostre de Sant Jeroni, patró del gremi, realitzat per José Vergara, i la part terrenal del sòl. Es basa en ceràmica valenciana i representa els quatre continents coneguts en eixa època.
El Col·legi guarda una col·lecció composta de teixits de sedes treballades artesanalment (velluts, domassos, brocats, brocatells, ventalls i, sobretot, sedes brocades o espolinades conformen esta col·lecció), maquinària de producció de telers, estris de treball de la seda, peces de passamaneria , indumentària religiosa, vestits de valenciana, rajoles d'origen gòtic i talles de fusta.
També té un arxiu històric documental des del segle XV (ordenances, llibres d'actes, llibres de mestres, oficials i aprenents, llibres d'administració i inspecció de fàbriques i comerços...) de l'antic gremi i, posteriorment, col·legi. L'arxiu documental és l'arxiu gremial més important d'Europa. Consta de 48 pergamins, 660 llibres i 97 caixes d'arxiu. Gairebé tots els documents fan referència al Gremi de Velluters. De moment, l'accés a l'arxiu no està obert al públic.
A la botiga Espai Seda s’hi poden comprar articles exclusius realitzats artesanalment pels associats del Col·legi, alguns d'estos amb teixits de seda.
En l'actualitat ha estat rehabilitat i convertit en museu, el qual s'ha inaugurat recentment (juny 2016).