尽管在童年时曾上过钢琴课，但山本刚在很大程度上是自学成才的钢琴家，他在日本大学就读时，首先作为流行歌手Micky Curtis的伴奏者进行专业演奏，他们在1967年进行了欧洲巡演。1974年，他成为东京爵士俱乐部Misty的室内钢琴师，他也在这一年首次以领队身份录制唱片，在70年代末他参加了主要的国际音乐节。在纽约居住的一年，他与Dizzy Gillespie，Carmen McRae，Sam Jones，Billy Higgin，Elvin Jones和Sonny Stitt等人一起演出。