El Colegio del Arte Mayor de la Seda está ubicado en un edificio adquirido por el Gremi de Velluters en 1494. Esta corporación gremial, que agrupaba a los tejedores de terciopelo de la ciudad de Valencia, se constituyó el 16 de febrero de 1479. Pronto se convirtió en la corporación gremial más importante de la ciudad y sus miembros jugaron un papel muy destacado en la revuelta de las Germanías.
Tras la decadencia sufrida en el siglo XVII, en el último tercio de la centuria comenzó a experimentar una reactivación. Como consecuencia, el gremio recibió el privilegio de Colegio del Arte Mayor de la Seda en 1686 por el rey Carlos II.
El edificio experimentó una intensa ampliación y reforma a mediados del siglo XVIII, momento en el que se construyó el Salón de la Fama. Se trata de la Sala de Juntas en la que se reunían los cargos dirigentes de la corporación y constituye la estancia principal del colegio. La decoración de esta sala representa un microcosmos compuesto por la parte celestial, con un fresco en el techo de San Jerónimo, patrón del gremio, realizado por José Vergara, y por la parte terrenal del suelo. Éste se basa en cerámica valenciana y representa los cuatro continentes conocidos en esa época.
El Colegio guarda una colección compuesta de tejidos de sedas trabajadas artesanalmente (terciopelos, damascos, brocados, brocateles, abanicos y sobre todo sedas brocadas o espolinadas conforman dicha colección), maquinaria de producción de telares, utensilios de trabajo de la seda, piezas de pasamanería, indumentaria religiosa, trajes de valenciana, azulejos de origen gótico y tallas de madera.
También cuenta con un archivo histórico documental desde el siglo XV (ordenanzas, libros de actas, libros de maestros, oficiales y aprendices, libros de administración e inspección de fábricas y comercios…) del antiguo gremio y después colegio. El archivo documental es el archivo gremial más importante de Europa. Consta de 48 pergaminos, 660 libros y 97 cajas de archivo. Casi todos los documentos hacen referencia al Gremio de Velluters. Por el momento el acceso al archivo no está abierto al público.
En la tienda, Espai Seda, pueden comprarse artículos exclusivos realizados artesanalmente por los asociados del Colegio, algunos de ellos con tejidos de seda.
En la actualidad ha sido rehabilitado y convertido en museo que recién ha inaugurado (junio 2016).