《马关条约》签订后，朝野上下变法呼声日益高涨。黄遵宪归国后受署理两江总督张之洞委托主持江宁洋务局，办理江南五省历年累积教案。在日渐兴起的维新运动中，黄遵宪与张荫桓都表现极为活跃。是年（1895年）底，文廷式、陈炽等人在北京创设强学会，张荫桓即列赞助者之中；[8]黄遵宪则列名参加了稍后成立的上海强学会，并结识了康有为，这反映出他们政治理念的一致。不久因北京强学会被查封，上海之会亦无形解散，黄氏乃以上海强学会余银1200两，并自捐1000两为经费，联络汪康年、梁启超、吴德潚等人，创办了著名的《时务报》，于光绪二十二年（1896年）七月初一发刊。这份以宣传西学和倡导变法为宗旨的新式报纸成为维新力量重要的舆论阵地。黄、梁等人通过在总署任章京的张元济将《时务报》赠送给包括张荫桓在内的朝中官员。[9]

是年，黄遵宪受回任两江总督的刘坤一委派，与日本领事珍田舍己会议苏州开埠之事。黄遵宪以为苏州非江海口岸可比，力持自营市政，在治外法权问题上尤不让步，“珍田氏竟莫能难”。[10]时论谓“苏界以黄公度所议为最善”，不料，“日本以限制过严，全然翻异”，[11]致使所议废弃。九月，黄遵宪奉旨入觐。此次入朝得到张荫桓全力相助，从稍后派黄出使及遭拒事件中颇能见其原委。

十月十九日（11月23日）廷旨令黄遵宪以道员加卿衔授出使德国大臣，同时放罗丰禄为出使英国大臣。然而，德方竟然表示拒绝。有关此次变故的内幕与原因，说法不一。[12]一般认为，本来总署与枢府拟定黄遵宪出使英国，后因总税务司赫德从中作梗，总署“辄恐英人之不怿，于是奉派使德”，而“德人亦误传英人不愿接而拒之”。[13]据翁同龢日记称，十月十八日（11月22日）到总署交涉事件的英使臣谈到黄时，“说黄遵宪在新嘉坡有扣商人四万元欲入己，今留在新嘉坡总督署”。[14]英使所云当闻自于赫德，此即当轴者决定改派黄遵宪使德的潜因。不过，事情似乎并非如此简单。事件发生时，汪大燮正在张荫桓家充西席，他于是年十一月二十三日（12月27日）致汪康年的私函中，透露了一些局外人无法知道的内幕。不仅缕述了德国拒黄的详尽原委，并述及张荫桓从中挽救之情形。该函云：

公度星使事，近日已转机，特将各情详下：前月十四、五间黄、罗、伍有召见之信，某使馆筵宴，座有罗，德使海静亦在座。客询使事，罗云黄英、伍美、我则德也。十八（日）英使臣以他事诣译署言及黄，合肥遽生疑，以为不愿黄往，传于枢臣。次日将揭晓，枢臣以合肥之疑词对，仓卒间黄、罗易位。海静初闻罗言已电其国，至是其政府诘之，海疑简使时译署与英商而不与德商也，遽以闻英不接黄故易对。德廷遂怫然电海致词译署，海遽咨译有不接待之语，李意沮。张行文英使臣，诘其有无此意，咨复明晰，有“当日晤会贵大臣并未告以黄将使英，本大臣亦绝无不愿待”之语。越日执此诘海，海赧于引咎执前言。两政府惧张，电许使婉商。许未复，张欲复电许，嘱亲诣德邸，意谓可即得复，无烦续电。嗣许复电，言德将询英。续又电言决意不接待。事几已矣，合肥电许使，有德廷既不接黄，未使因此失欢，但亦遽行改派，请许卸俄事（并未奏明——原注），驻德半年，再行请派云云。及冬月廿二海复诣译署，言愿接待，自辞前探不实之咎，始有转机。其实当初海意以误闻罗言，亦自知过，特一时无从转脸，开路使行，事实非难，而诸君皇皇几失国体。所争之事，乃新嘉坡之案，赫德微讼之而罗实构之，乘机作乱，窃英任不[而]去。阴邪巧佞，倘得位乘时，殆不可问。而公老公事之老到，亦一时无两，倘非如此结实则败矣。可佩可佩。然遭此萋菲，去亦无味，谅必自辞，既全国体，当自占地步。[15]

函中“罗”为罗丰禄，“伍”指伍廷芳，“合肥”指李鸿章，“张”指张荫桓，“许”指许景澄（时为驻俄公使），“海”指海静（也作海靖，时为德国驻华公使）。“两政府”似指军机大臣翁同龢与钱应溥，“公老”指黄遵宪。从这份局内人披露的情况看，调换使臣和德国拒黄的原因是十分复杂的。关键是函中所谈“合肥遽生疑，以为（英）不愿黄往，传与枢臣”之细节值得玩味。其实，所谓黄遵宪扣商人款欲归己之说纯属谣传，黄甚至为此事专门致函新加坡总督澄清事实。[16]似乎还没有确凿材料说明英国会因此事而反对黄遵宪赴任，问题的症结在于清廷高层的决策方面。李鸿章当时以此事为词，以为英不愿黄往恐怕只是一个借口。这与甲午战后李鸿章、张荫桓关系的日益恶化以及他们在总理衙门明争暗斗的背景有关。[17]以当时英、德两国与中国的关系而言，英国所处地位相对重要一些，由亲张的黄遵宪出任驻英公使自然为李所不愿，这是李鸿章借故阻黄的真实原因。[18]作为李的亲信，罗丰禄从中煽惑也不难理解。翁同龢等枢臣因受李的影响，决定将罗、黄易位有一定的偶然性。当时英使正因西江开埠事对清廷百般要挟，翁氏等怕派使之事为其再添口实，从权计议亦有其道理所在，但此举自然为张荫桓所不满，“两政府惧张”原因即在此。当然，李鸿章、翁同龢等人并未想到会发生德国拒黄的事情。后来李也曾电告驻英公使龚照瑗与英方交涉，“为黄辩诬”，[19]也只是事后做点表面文章而已。数月后，张荫桓充贺使赴英期间，一直与罗保持着相当距离，也颇能说明问题。[20]总之，黄遵宪出使被拒之详因似不能离开总理衙门中张、李争权的背景去探讨。由于德国方面毫不让步，总署只得暂派许景澄驻德，黄遵宪则被迫株守京城，等待新的任命。

是年十二月初十日（1897年1月12日），汪大燮又有一函致康年，该函云：

公度事竟如此，可叹可叹！其实上意甚为眷笃，南海每入觐，必问其人，其余未必尽无，惟肯说好话者，亦只有南海，是以更调他国之说，决乎不行。上谓南海，言当放以道缺，然非枢廷着力，未必任以繁剧，则公度亦将翩然而去耳，甚为国家惜之。[21]

函中“南海”即张荫桓，此函透露出张氏在与皇帝独对时力荐黄遵宪的情况。这再次显示了张对黄的深切关注，对于我们了解戊戌维新中光绪帝、张荫桓、黄遵宪之间的关系尤具重要意义。

甲午至戊戌年间，虽然黄遵宪以其出众的才干和见识曾得到过李鸿章、张之洞等人的器重（如甲午年从新加坡奉调回国即出于张之洞的奏调），但是，因为种种原因，他与李、张之间从未建立起真正的信任，更谈不上私谊了。正因为黄遵宪在官场中以身任户部左侍郎兼总理衙门大臣的张荫桓为奥援，其仕途不可避免地受到权力与派系之争的干扰。