交通事故责任认定书不需要双方到场就可以出具。道路交通事故责任认定书是公安交通管理部门依照交通法规对交通事故的当事人有无违章行为，以及对违章行为与交通事故损害后果之间的因果关系进行定性、定量判断时所形成的文书材料。
【法律依据】
《道路交通安全法》第七十三条，
公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。