Der Circle of Palms Plaza in Downtown San Jose markiert mit einem Ring aus Palmen die Stelle, an der eine Plakette in Form des kalifornischen Staatssiegels in den Boden eingelassen wurde und erinnert damit an die Tatsache, dass San Jose für zwei Jahre die Hauptstadt Kaliforniens war. Die Plaza ist ein beliebter Veranstaltungsort im Herzen der Stadt und ist im Winter Standort einer Eislauffläche.

An den Platz angrenzend befindet sich das San Jose Museum of Art, das einen Schwerpunkt auf Kunst von der amerikanischen Westküste aus dem 20. und 21. Jahrhundert legt und wechselnde Sonderschauen zeigt. Neben klassischer Kunst in Form von Skulpturen und Gemälden werden dabei auch moderne Medien eingesetzt.

In der Nachbarschaft befindet sich der nach einem Arbeiteraktivisten benannte Stadtpark Plaza de César Chavez, der ebenfalls häufig für Festivals, Konzerte und andere Veranstaltungen genutzt wird. Generell ist die Downtown San Joses auch der Mittelpunkt der Stadt geblieben, anders als in vielen anderen amerikanischen Großstädten. Wegen des nahegelegenen Flughafens darf kein Gebäude hier höher als 27 Stockwerke sein. Das höchste ist der 87 Meter hohe Wohnturm The 88 am Central Place. In dieser Gegend haben sich einige Unternehmen aus der IT-Branche sowie der Campus der San Jose State University angesiedelt und nicht zuletzt deswegen gibt es im Innenstadtbereich fast durchgehend einen kostenlosen W-Lan-Zugang. Einige Gebäude in dieser Gegend stehen auf der nationalen Denkmalschutzliste. Diese sind zum Downtown Historic District zusammengefasst, in dem verschiedene Baustile repräsentiert sind.

An der Market Street befindet sich ein gutes Beispiel für die Schwierigkeiten, denen Architekten in dieser Region begegnen. Die Cathedral Basilica of St. Joseph wurde ursprünglich 1803 errichtet, doch das Original-Bauwerk wurde bei einem Erdbeben ebenso zerstört wie mehrere nachfolgende Kirchen an dieser Stelle. Die inzwischen hier zu findende Kathedrale ist die mittlerweile fünfte Version und wurde 1877 eingeweiht.

San Joses Downtown ist Standort mehrerer interessanter Museen. Neben dem Museum of Art ist das Tech Museum of Innovation zu erwähnen. Das Museum beschäftigt sich mit den Themen Innovation, Entdeckung, Life Tech und Kommunikation und zeigt Erfindungen, Konzeptionen und moderne Entwicklungen der Technikgeschichte. Unter anderem besitzt es einen Erdbeben-Simulator. Seit Dezember 2007 gehört auch ein virtuelles Museum namens The Tech Virtual zum Angebot.

Ein ganz anderes Thema hat das San Jose Museum of Quilts and Textiles, das den künstlerischen Aspekt von Textilien und Quilts hervorhebt. Neben mehr als 500 Quilts, die zur Ausstellung gehören, besitzt das Museum eine stattliche Bibliothek mit umfangreicher Literatur zum Thema (520 S. First Street). Das Children’s Discovery Museum wurde 1990 eröffnet und eröffnet Kindern die Möglichkeit, die Welt von Technologie, Computern und dem Internet kennenzulernen. Zahlreiche interaktive Ausstellungsstücke stehen dafür zur Verfügung. Mit einer großen Spende hat unter anderem Steve Wozniak, Mitbegründer von Apple, zur Eröffnung des Museums beigetragen (180 Woz Way).

Etwas nördlich von Downtown liegt mit Japantown ein authentisches, asiatisch geprägtes Viertel mit vielen Restaurants, Karaokebars und Geschäften. Eine buddhistische Kirche findet sich ebenso in Japantown wie Restaurants anderer Prägung, zum Beispiel solche mit südamerikanischer Küche. Neben einem ganzjährig stattfindenden Farmers Market finden im Viertel auch zahlreiche andere Veranstaltungen statt, zum Beispiel das Spirit of Japantown Festival im Herbst.

Zu den weiteren Sehenswürdigkeiten der Stadt zählt das Winchester Mystery House, ein Wohnhaus mit einer ganz besonderen Geschichte. Das Haus wurde stolze 38 Jahre lang gebaut und gehörte der Witwe des Waffenproduzenten William Winchester, Sarah. Beim Bau verzichtete sie völlig auf einen Bauplan oder eine generelle Zielsetzung. Da sie davon ausging, dass im Haus die Geister von mit Winchester-Gewehren getöteten Menschen spukten und diese nur durch fortwährende Bautätigkeit zu besänftigen wären, wurde bis zu Mrs. Winchesters Todestag im Jahre 1922 unablässig weiter gebaut, umgebaut und verändert. Entstanden ist dabei ein außergewöhnliches Wohnhaus mit 160 Zimmern, das besichtigt werden kann, auch im Rahmen einer Führung im Schein von Taschenlampen (525 S Winchester Blvd, verschiedene Führungen nachmittags und abends).

Im Lake Cunningham Regional Park, einem Erholungsgebiet im Osten der Stadt rund um einen künstlichen See befindet sich der Wasser-Vergnügungspark Raging Waters, der von Mai bis September geöffnet ist. Der größte und wichtigste Veranstaltungsort der Stadt ist der HP Pavilion nahe der Downtown, in dem unter anderem Sport- und Musikevents stattfinden. Mit der Dr. Martin Luther King Jr. Library befindet sich in der Stadt die mit einem Bestand von etwa 1,6 Millionen Bänden eine der größten öffentlichen Bibliotheken der USA. Auf dem Gelände der San Jose State University liegt das Ira F. Brilliant Center for Beethoven Studies, das sich mit einem Museum, Veranstaltungen und Forschung dem Leben und Werk des berühmten Komponisten widmet. Im Umland San Joses können Besucher während des Tages einen Blick durch die Teleskope des Lick Observatory werfen, das sich auf dem knapp 1300 Meter hohen Mount Hamilton befindet.