Povrch japonských ostrovů se vytvářel hlavně v třetihorách. Je považován za velmi mladý a za jednu z tektonicky nejneklidnějších oblastí světa. Japonsko je proto často postihováno zemětřesením. Ročně je zaznamenáno asi 7-8 tisíc otřesů. Některé z nich jsou tak slabé, že je lidé sotva pocítí, ale jiné jsou tak silné, že způsobují vážné škody (jako například v přístavním městě Kóbe). Budovy se proto projektují tak, aby těmto otřesům odolaly. Se zemětřesením úzce souvisí sopečná činnost, která je také velmi silná. Proto jsou v některých horských oblastech přírodní horké prameny. Asi 67 japonských sopek je stále činných. Některé se ke svému "životu" nečekaně probouzí (napřiklad sopka Usu). Sopečná láva je však velmi úrodnou zemědělskou půdou, a proto lidé stále podstupují riziko a žijí v bezprostřední blízkosti vulkánů. Mezi vyhaslé sopky patří i hora Fudži (3.776 m), která naposledy soptila v roce 1707. Je to nejvyšší hora Japonska a také jeho posvátný symbol.

Hlavním a nejznámějším pohořím jsou tak zvané Japonské Alpy na Honšú. Skládají se ze tří pásem, severního Hida (nejvyšší vrchol Hotakadake - 3.190 m), středního Kiso (nejvyšší vrchol Komagatake - 2.956 m) a jižního Akaiši (nejvyšší vrchol Širane - 3.192 m). Na ostatních ostrovech nedosahují pohoří takových výšek, nicméně všude se jedná o hory příkré se sklonem svahu větším než 15°.

Většina japonských nížin se prostírá na tichomořské straně a největší nížina se rozkládá u Tokijského zálivu, říká se jí podle oblasti nížina Kantó, stejně jako další velké nížině Kansai, která je také pojmenována podle celé oblasti.

Je jasné, že země, která je tvořena tolika ostrovy, má dlouhé pobřeží. Voda hraje velice důležitou roli v japonské krajině, od nádherných jezer uprostřed hor po Japonské moře na západě, nebo po Tichý oceán na východě. Největším a nejznámějším je jezero Biwa (674 km²), které se rozkládá u neméně známého města Kjóta. Nejhlubším je Tazawa (423 m), východně od města Akita. Turisticky známá jsou zejména jezera Jamanaka, Sai, Šódži, Motosu a Kawaguči na úpatí hory Fudži. Dosti častá jsou také pobřežní jezera, laguny, oddělené od moře pobřežními nánosy. Například laguna Kasumiga pokrývá plochu 168 km². Japonské řeky jsou poměrně krátké a velká většina není splavná. Horský charakter řek skýtá možnosti pro vybudování vodních elektráren. Vzhledem k tání sněhu na horách a monzunovým dešťům mají řeky nejvíce vody na jaře. Na jejich toky jsou napojeny kanály zavlažující pole pro pěstování rýže. Problémem japonských řek je velký rozdíl v množství protékající vody během roku, což u mnohých snižuje možnost jejich hospodářského využití. Nejdelší je řeka Šinano (369 km), která teče z pohoří Hida až k Niigatě a vlévá se do Japonského moře (největší hloubka 4.200 m). Ostatní významnější řeky se vlévají do Tichého oceánu (Kiso - 232 km, Tone - 322 km).