日本玉露茶起源于9世纪至12世纪之间的平安时代。当时，中国的茶文化传入日本，但是由于日本的气候和土壤环境与中国不同，所以经过了很长时间的试验和探索，才发展出了适合日本自身环境的茶叶栽培方式和制茶技艺。

在13世纪，日本著名的禅宗僧侣宗能从中国引进了一种名为抹茶的独特茶叶制作方法，这种制茶方式与中国的传统方法不同，把茶叶磨成细粉，用水冲泡而不是直接用开水泡。这种方法需要精益求精的制作工艺和顶级的抹茶，从而滋味独特，茶汤汁浓绿，香气纯正，泡茶时间较短却能享受到浓厚的滋味和香气。在日本，这种制茶方法也产生了特殊的茶礼文化。

在江户时代(17世纪至19世纪），伏见市(京都府)的茶商瓜生岩右卫门创造出了沏泡玉露茶的技巧，制造出一种创新性的对玉露的制作方法，它是通过设置遮蔽网，防止日光暴晒并靠天然温度控制调整茶叶质量，让茶叶可以以"阴干"的方式制作，从而保留了茶叶本来的香气和滋味，同时也让刚采的茶叶产生了高品质、特有、甘甜而闻之有声的玉色茶汤，因此得名为“玉露”，成为日本茶中顶级品种之一。