卫州案《庆湖遗老诗集》自序录“越人”，《彊村丛书》本《东山词》作“山阴贺铸”人。长七尺，面铁色，眉目耸拔。喜谈当世事，可否不少假借。虽贵要权倾一时，少不中意，极口诋之无遗辞。人以为近侠。博学强记，工语言，深婉丽密，如次组绣。尤长于度曲，掇拾人所弃遗，少加檃括，皆新奇。尝言：“吾笔端驱使李商隐、温庭筠，常奔命不暇。”初娶宗女，隸籍右，选监太原工作。时江淮间有米芾，以魁岸奇谲知名。铸以气侠雄爽，适相先后。两人每相遇，瞋目抵掌，论辩锋起，终日各不能屈，谈者争传为口实。元祐中，李清臣执政，奏换通直郎，通判泗州，又倅太平州。竟以尚气使酒，不得美官，悒悒不得志，食宫祠禄，退居吴下，稍务引远世故，亦无复轩轾如平日。家藏书万馀卷，手自校雠，无一字误。其所与交终始厚者，惟信安程俱。铸自裒歌词，名《东山乐府》，俱为序之。尝自言唐谏议大夫知章之后，居越之湖泽所谓镜湖者，本庆湖也，故铸自号庆湖遗老。（摘录《宋史》卷四百四十三《文苑传》）
年七十四，以宣和七年二月甲寅，卒于常州之僧舍。（据程俱撰《贺公墓志铭》）
谯郡张耒序其《东山词》云：余友贺方回，博学，业文，而乐府之词，高绝一世，携一编示余，大抵倚声而为之词，皆可歌也。或者讥方回好学、能文，而惟是为工，何哉？余应之曰：“是所谓满心而发，肆口而成，虽欲已焉而不得者。若其粉泽之工，则其才之所至，亦不自知也。夫其盛丽如游金、张之堂，而妖冶如揽嫱、施之怯，幽洁如屈、宋，悲壮如苏、李，览者自知之，盖有不可胜言者矣。”（《彊村丛书》本《东山词》卷首）
东山词行世者，有侯文灿名家词集本，王鹏运四印斋所刻词本，陶湘涉园景《宋金元明词》本续刻本，《彊村丛书》本。朱本晚出，最完善。
北宋名家，以方回为最次。其词如历下、新城之诗，非不华赡，惜少真味。
王直方诗话谓方回言：学诗于前辈，得八句云：“平淡不涉于流俗，奇古不邻于怪僻，题咏不窘于物义，叙事不病于声律，以兴深者通物理，用事工者如己出，格见于成篇浑然不可镌，气出于言外浩然不可屈。”此八语，余谓亦方回作词之诀也。
小令喜用前人成句，其造句亦恒类晚唐人诗。慢词命辞遣意，多自唐贤诗篇得来，不施破碎藻采，可谓无假脂粉，自然秾丽。张叔夏谓“于吴梦窗皆善于炼字面者，多于李长吉、温庭筠诗中来”，大谬不然。方回词取材于长吉、飞卿者不多，所以整而不碎也。
按填词以厚为要恉。苏、辛词皆极厚，然不易学，或不能得其万一，而转滋流弊，如粗率、叫嚣、澜浪之类。东山词亦极厚，学之却无流弊。信能得其神似，进而窥苏、辛堂奥，何难矣。厚之一字，关系性情。“解道江南断肠句”，方回之深于情也。企鸿轩蓄书万馀卷，得力于酝酿者又可知。张叔夏作《词源》，于方回但许其善炼字面，讵深知方回者耶？