公元726年，张说因与御史中丞宇文融不和，被宇文融和李林甫联手参了一本，罪状包括勾引术士占星、徇私舞弊、收受贿赂等等，且大多属实。所幸他的哥哥左庶子张光不惜割掉耳朵为张说拼命申冤，又得唐玄宗宠臣高力士有意维护，张说这才幸免于难，仅罢宰相之职。
远比不上前两任姚崇和宋璟。
不久，广州都督裴伷先获罪，张嘉贞请施廷杖。另一位宰相张说表示反对，他的理由是士可杀不可辱。
张嘉贞很不高兴，私下指责张说：“你话说的太重了。”
张说则答道：“我们不可能当一辈子宰相，一旦开了重臣受杖的先例，难保以后也有受辱之时。”
他的话当然很有道理，但这两位宰相之间早有矛盾。张说此举未必不是有意和张嘉贞唱反调。
张说不仅是有名的政治家，也是有名的文学家，张九龄、贺知章等文学名臣皆是他的门生。张说一向看不惯张嘉贞的为人，在公元723年又借机摆了他一道。
这一年，张嘉贞的弟弟张嘉佑贪赃事发，张说劝他素服待罪，以免被牵连。张嘉贞正惶惶无计之时，便听信了张说的建议。结果被唐玄宗摘去宰相的帽子，张说接任中书令，成了首席宰相。
张嘉贞对此耿耿于怀。第二年，唐玄宗在中书省设宴，张嘉贞逮着机会把堂堂一国宰相张说当众痛骂了一顿，最后被同僚劝走才罢休。
张说的工作比张嘉贞干得要好。在他任上，唐朝裁减了二十万边军，又将府兵制改成了募兵制。经过十几年的发展，开元盛世已至极点。
但他也只干了三年多宰相。