El pla Calvet iniciat el 1902 amb l’esbucament de les muralles de Palma també suggeria la construcció de mercats que proveïssin la població. El primer que es construí fou el del barri de Santa Catalina, el 1920. Després vingueren el de Pere Garau (1942), obra de l’arquitecte municipal Guillem Forteza (1892-1943), i el de l’Olivar (1951). Dels tres, però, el mercat de l’Olivar fou el que es projectà abans de la mà de Gaspar Bennazar (1869-1933), conegut com ‘s’Arquitecte’. El concebé el 1914 per dotar d’un edifici els venedors que fins aleshores empraven la plaça Major.
El 1931 Madrid aprovà el projecte de Bennazar. L’Ajuntament de Palma, però, l’acabà paralitzant a causa del seu excessiu pressupost. El Partit Republicà Federal criticà molt aquella despesa perquè considerava més prioritària la construcció d’escoles públiques i un clavegueram més eficient. Finalment, el 1936, sota la batlia d’Emili Darder, el projecte fou aprovat. Havent mort Bennazar, el seu disseny passà a mans de Forteza, que rebutjà les estructures de ferro del seu antecessor per considerar-les típiques del segle passat. Forteza proposà el ciment armat com a material principal per aconseguir, així, una temperatura quasi uniforme en el recinte.
L’esclat de la Guerra Civil el juliol de 1936 suspendria l’execució de l’anhelada infraestructura. El 1940 es reprengué amb un nou arquitecte, el valencià Manuel Valls Gadea, que, tanmateix, l’acabà cedint a Enrique Juncosa i Gabriel Alomar Esteve, besnebot del polític exiliat Gabriel Alomar Villalonga. El 1941 Alomar guanyà un concurs estatal de redacció d’un Pla de Reforma Interior de Palma (1943-1963), que substituïa el que a principi de segle havia ideat Calvet. El mercat de l’Olivar fou una de les tres grans obres que Alomar arribà a executar de les 12 inicialment previstes. Les altres dues foren l’obertura del carrer de Jaume III i la reforma de la plaça Major.
L’origen del nom del mercat de l’Olivar està relacionat amb les monges franciscanes del puig de Santa Magdalena (Inca). El 1515 es traslladaren a s’Esglaieta (Esporles), on establiren el monestir de l’Olivar, dit així per la gran quantitat d’oliveres que l’envoltaven. El 1549 ja adquiriren un solar a l’interior de Palma, en un lloc situat entre les murades i el carrer de la Síquia (actualment carrer de Sant Miquel). Fou aquí on construïren el monestir de l’Olivar o de Nostra Senyora de la Concepció de l’Olivar. El 1837, arran de la desamortització de Mendizábal, el monestir hagué de tancar per acabar-se convertint en una presó. Llavors les monges franciscanes es traslladaren al convent de Santa Clara. El de l’Olivar seria esbucat el 1885. El 1951 el seu solar acolliria la inauguració del famós mercat.