清帝国的海关是一个被逼出来的机构。有明以来，中央政府执行的就是“片木不得下海”的闭关锁国政策，所以，不需要海关，也没有多少外贸的税收。（“海关”之名倒是早就出现了。在明清的行政体系里，一直有一个叫“市舶司”的衙门，1685年，康熙设粤海关、闽海关、浙海关和江海关，其中，江海关就设在上海松江府。1757年，乾隆发布“口岸定于广东，洋船不得再赴浙省”的上谕，从此确定“一口通商”的政策。因统治者以闭关拒外为目的，所以那些海关与日后的海关职能有很大区别，不可同日而语。）鸦片战争之后，随着通商口岸的开辟，自然就有了设立关卡的必要，在1843年签订的《中英五口通商附粘善后章程》中，英国人提出由他们来管理“来往之商人，加意约束”，所收得的税金用来支付战争赔款，朝廷官员一听就同意了，反正都是外国人的钱，收进来再付出去，好象是无损帝国的买卖，于是就有了让外国人管理中国海关的制度。1846年，在上海外滩（现在的外滩汉口路）出现了一个用铸铁栅栏围起来的大院子，门口盖了一个中国式的牌楼，上写“江海北关”，专门办理外国商人的进出口税务。1858年，朝廷又准奏在广州设立了第二个海关。
赫德是第二任海关总税务司。他19岁就来到了中国，先在宁波、广州领事馆当翻译，后来被聘为广州新关的副税务司。他操一口流利的汉语，为人自制圆通，而又熟悉官场礼节和中国士大夫的习气，因此深得大臣们的赞扬，他跟当时最重要的满人大臣恭亲王奕、文祥等相从甚密，特别跟后者的关系竟形同密友。1863年，28岁的赫德被任命为总税务司，在这个职位上他一口气干了漫长的48年。
随着对外贸易的扩大，原本不起眼的海关居然在不到二十年的时间里成为帝国最重要的经济机构和财政来源之一，就在赫德上任的时候，总税务司署所辖新关已达14处，几乎遍及所有重要的通商城市，雇佣洋员400人，华员约千人，已是一个很庞大的行政部门了。海关税收在1861年达到496万两，1871年为1121万两，到1902年已达到3000万两，是中央政府最稳定、可靠的财源。在建关的前五年，海关就为清政府偿还了《北京条约》规定的1600万两英法赔款。在太平天国战乱时期，海关为朝廷支付了巨额的财政支持，赫德甚至亲自参与了对常州的攻克战役，他跟李鸿章并肩骑马站在高坡上，目睹戈登的“常胜军”攻进城门。
海关在名义上归属总理衙门管辖，但实际上，从人事到运作管理，全部操于洋人之手。海关主权的旁落，是清政府最突出的无能证明，也是一个主权国家的耻辱记录。不过具有讽刺性的是，在委靡腐败的晚清行政体系中，赫德管理的海关却也是最有秩序和效率的一个机构。他引进了整套的英国行政管理经验，无论行政组织、人事管理还是征税章程都置于一个严格、统一的管理体系之内，海关的财务制度是由英国财政部官员制订的，数十年里很少发生舞弊行为。各部门的主管人员，一般都有较高的文化水平，有的还是博士、硕士。清朝官员的俸禄很低，主要收入都是依靠职权滥取于民，因而形成无数的官场陋习，海关实行西方的公务员薪金制度，待遇很高，但不能额外支取费用。
经济学家杨小凯在《百年中国经济史笔记》中评论说，“过去的很多史书都指称清朝卖国的证据是将海关权利让与外人，其实这种指责是不准确的政治宣传。清末海关虽由英国人赫德管理，但他是作为清政府的雇员，行使他的职权。他的管理不但使中国海关迅速现代化，而且使海关成为最有效率，最少贪污的清朝官僚机构。他保证了条约制度对关税率的限制，因而促进了自由贸易及公平税收，他也保证了用有效率的管理和制度为清朝政府提供了大量税收。”参与主编《剑桥中国史》的美国华裔学者刘广京的观点也与杨小凯近似，他认为：“赫德管理海关的最大贡献是促进了中国商业的发展，杜绝了清朝腐败制度下贪官对海关的扰乱。”
在将近半个世纪的漫长岁月里，赫德一直是一个摇摆的“中间人”，他一方面是英国等列强的利益捍卫者，竭力为它们在中国的利益最大化不懈努力，另一方面，也为清帝国的重振出谋划策。
作为一个清政府的“官员”，赫德对朝廷的改革也很有自己的主张。1865年，在当上总税务司的两年后，他呈递了一个名为《局外旁观论》的报告，他以“旁观者”的身份提出了一系列改革建议，包括整顿地丁、盐课、税赋、改革官吏俸禄制度、改进军事设施等等，同时，他分析了清政府面临的国际环境，提出派遣外交人员等建议，还提出要加快采用铁路、电报以及机器采矿等西方新技术。日后来看，这是一份十分有远见的报告