Während im restlichen Kalifornien, etwa in Monterey oder in San Francisco, schon in den 1770er Jahren Missionsstationen der Spanier errichtet wurden, dauerte es bis 1797, bis die Mission San José gegründet wurde – allerdings dort, wo sich heute die Nachbarstadt Fremont befindet. In der Zeit der mexikanischen Herrschaft wurden Ländereien an Günstlinge der Regierung verschenkt, so auch im Gebiet rund um San Jose. Das kleine Dorf, das sich seit Ende des 18. Jahrhunderts an der Stelle der heutigen Downtown befindet, wird 1846 ohne Kampf von den US-Truppen unter Thomas Fallon übernommen. Kurz darauf entdeckte man, dass man im Umland Quecksilber in großen Mengen abbauen konnte, das bei der Goldsuche in anderen Teilen Kaliforniens benutzt wurde.

Im März 1850 wurde San Jose der erste Ort Californias, der sich als Stadt gründete und für die folgenden beiden Jahre durfte sich die junge Stadt als Hauptstadt Kaliforniens bezeichnen, als hier die ersten beiden Sitzungen der Legislative stattfanden. Die Tatsache, dass San Jose an mehreren Erdverwerfungen liegt, hatte bereits zuvor für einige Erdbeben gesorgt, die die Stadt erschütterten, in den 1860er Jahren folgten weitere. Von diesen war das das Hayward-Erdbeben von 1868 bis zur Jahrhundertwende das stärkste, das mehrere Gebäude in der Stadt zerstörte. Das große Beben von 1906, das San Francisco zerstörte, forderte auch in San Jose Todesopfer.

1933 machte San Jose international Schlagzeilen, als ein Mob von etwa 10.000 Einwohnern – was damals einem Sechstel der gesamten Bevölkerung entsprach – das Gefängnis stürmte und zwei Menschen lynchte, die dort wegen der Entführung und Ermordung eines jungen Mannes einsaßen. Während des Zweiten Weltkriegs kam es in der Stadt, wie überall in Kalifornien, zur Vertreibung der japanischstämmigen Amerikaner in Sammellager im Osten des Bundesstaats. Zur gleichen Zeit zogen viel Neuankömmlinge, darunter viele Schwarze, aus anderen Teilen des Landes nach San Jose, dessen Industrie zur Unterstützung der Truppen auf Hochtouren lief. So gab es zum Beispiel ein Werk der Food Machinery Corporation, das Amphibienfahrzeuge herstellte.

Viele der Zugewanderten blieben nach dem Krieg und im Jahr 1950 lag die Zahl der Einwohner bei 95.000. Das Umland San Joses war zu dieser Zeit in erster Linie landwirtschaftlich geprägt. Viele Obst- und Gemüsesorten wurden hier angebaut und in San Jose verarbeitet, wo eine Konservenfirma über viele Jahre der größte Arbeitgeber war. Dieses Bild änderte sich mit dem Amtsantritt von A.P. Hamann als City Manager 1950. Er trieb seinen Plan zur Erweiterung der Stadt mit solcher Vehemenz und mittels Eingemeindung umliegender Orte sowie gezielter Anwerbung von Unternehmen und Menschen voran, dass diese 19 Jahre später, als Hamann seinen Posten verließ, etwa 400.000 Einwohner hinzugewonnen hatte.

Zwischenzeitlich hatte die Region die Grundsteine für ihren zukünftigen Ruf als Technologieschmiede gelegt. Eine Abteilung von IBM erfand 1962 das Diskettenlaufwerk in San Jose. Dies war der Auftakt einer Reihe von Innovationen und technologischen Neuentwicklungen, die ihren Anfang in San Jose und dem Silicon Valley nahmen und ihrerseits weiter neue Firmen und deren Mitarbeiter anzogen. Das Wachstum San Joses verlief ab den 70ern zwar deutlich gemäßigter und strukturierter, ließ aber kaum nach. Zwischen 1980 und 1990 wuchs die Einwohnerzahl von 630.000 auf über 780.000, 1989 hatte die Stadt erstmals in der Geschichte mehr Einwohner als San Francisco, 2009 erstmals mehr als eine Million.