El mercado fue inaugurado en 1840,​ pero sus orígenes están al aire libre, ante las puertas de la antigua ciudad, en la explanada del Pla de la Boqueria, donde vendedores ambulantes y labradores de los pueblos y masías próximas se instalaban con el fin de vender sus productos, antes de que la ciudad se saliera de sus primeras murallas. Este mercado se hacía fuera de las murallas de la ciudad por ahorrar el impuesto de entrada de mercancías.

Antes del mercado, estuvo en el mismo lugar el convento de San José. En 1586 los carmelitas descalzos (denominados els josepets por ser los difusores, con Teresa de Jesús a la cabeza, del culto popular a la figura de San José) fundaron el convento en el lugar donde hoy está el mercado. A medida que la Rambla fue tomando importancia como paseo urbano en el siglo XVIII, se consideró necesario sacar las carnicerías de su recorrido y fueron desplazadas, todavía muy cerca, hacia el interior, junto al huerto del convento de San José, que junto con otros conventos de la zona, fue asaltado e incendiado durante el motín anticlerical instigado y dirigido por algunos políticos liberales en Barcelona el día de San Jaime (25 de julio) de 1835.