徽宗在心里做出了决定，要撤掉任忠义的皇城使职务，由杨光华兼任。
徽宗认为，杨光华兼任皇城使，肯定要比任忠义强一百倍。徽宗觉得，经过跟杨光华二年多的朝夕相处，已经对杨光华有了一个全面、深入的，也是准确的了解和认识。他坚信自己的这个决定是正确的。
这么思虑了一会儿，他就考虑到了一个现实问题：任忠义的身份非常特殊，处理他的问题就特别敏感，稍不注意，就会牵涉到哲宗，就会被某些好事的人抓到把柄，跟哲宗联系起来做文章，说闲话，瞎议论。所以，把任忠义从皇城使的位置上拿下来，让他去哪里？怎样处理才能既达到了目的，又不会带来副作用？这，的确是棘手的，不容有半点大意的问题。
这么一想，他就两手按住龙椅的扶手，欠了欠身子，对杨光华说：“光华啊，咱们研究了球球的提拔问题和军事军队管理的改革问题。也许是触景生情连锁反应吧，自然我就联系到了另外一个现实的、也是必须要解决的问题，就是皇城司的问题。”
“皇城司的最高长官皇城使啊，从我登基以来就没有像模像样的干过事儿，自然也没有发挥应有的作用。太后在还政的时候，还有在崩世前交代身后事的时候，都给我说，要发挥好皇城司的作用，要高度重视皇城司的管理和作用。可是在我这里呢，却看不到皇城司有什么重大作用。就说几件事，当初曾布派人跟踪我派出去杭州的人，还监视我在京城的一切行动，我却没有接到过皇城司的报告。他们还不如梁师成那几个人。特别是皇城使任忠义，今年都快要过去了，一次都没来见我，更不用说向我汇报工作了。我研究过，大宋立国以来，每一届皇城司，都没有像这一届这样无所作为。朝廷养着这么一两万人的队伍，却是这么一种状况，我看谁当皇帝都不会满意。所以呀，我得解决这个问题，主要就是让任忠义换个地方。但是呢，让他去哪里、怎么处理才能让他既能够愉快接受，又不至于引起他的不满，免得有人在这上面做文章，说我是对先帝怎么着等等等等。我就想听听你的想法？”
杨光华觉得，这是个十分敏感的问题，也是个棘手问题。首先说，任忠义身份特殊，他是朱皇后的弟弟，虽然不是亲弟弟，可谁又敢明说呢？哲宗对他可是非常重视、特别信任的。再说，皇城司的特殊地位和作用，决定了皇上必须高度重视，善于发挥他的作用，而他的作用，是任何其他机构和部门所不能代替的，也代替不了。鉴于这两个特点，杨光华回答说：“皇上，您既然决定要解决皇城司的问题，只需让皇城使换个地方就行了。这问题不难，咱们可以比着葫芦画瓢。当初您在还没有亲政的时候，为了解决文件流转问题，需要把负责诏书签审的中书舍人和给事中，换个地方当官，您和太后采取了很有效、也很有艺术性的办法，至今我还记忆犹新。这一次，最多涉及三个人，这工作好做多了。”
徽宗一听，觉得杨光华这个思路，确实是解决这个问题的最好办法。就问：“哦，让皇城使去哪里呢？谈谈你的看法。”
杨光华没有犹豫，说道，“其实，皇上您已经想到了办法，只不过是要考考臣。臣就斗胆把您想好的办法，再重述一遍吧。”
徽宗忙伸出右手略一抖动，道：“说，快说。”
“皇上，您是不是想让皇城使到大理寺去呢？从品级上来说，皇城使现在是正四品，大理寺卿是正三品。而现任大理寺卿已经六十八岁多点，身体也不太好。所以呀，您大概是想，让皇城使接任大理寺卿，这样等于给他提了两级。而我们呢，可以提前做一下大理寺卿的工作，这个工作啊，让张商英去做就行了，实在不行就让宰相去做，动员他提前退休。”
徽宗一听这话，立即兴高采烈，又用右手的拳头砸了一下左手掌心，说：“好，真是个好办法，光华呀，你算是说到朕的心里了，朕真的就是这么想的。这事啊，就这样定了。至于由谁接任皇城使呢？你有想法吗？”
杨光华知道，安排官员、提拔官员，这是最为敏感的事情，无论曾布，还是章惇，都在这事上翻过船。就连蔡京，前不久也差点儿因此出了问题，所以他绝对不能让皇上觉得自己在盯着这个权。这个权本就是皇上的，他只需要给皇上点火，让皇上按他点火照亮的那条道去走，就可以了。所以杨光华就说：“皇上让谁当什么官、当多大官，这是您皇上的权利。这个权利，谁都不能交给他。您可以征求别人的意见，比如宰相，比如我，又比如张商英，军事问题嘛，下一步还有高球，您可以征求他们的意见，但是您不可以让他们做主，让他们意图操控官员提拔升降的事项。您给我和宰相下放了很多的权利，但是这个权你什么时候都不能放。”
其实杨光华心里很清楚，徽宗不会放这个权的。他对于这个权，还有财权、军权，他都不会放。
徽宗一听，很是欣慰地说：“知我心者，杨光华也。那我问你，我要是让你兼任这个皇城使，你干不干？皇城使可是正四品。不过，我也已经想了，如果你来兼，因为你是正一品，我自然先要把皇城使的品级提上来。最起码要提到正二品，一是为了你兼任得名正言顺，二是突显皇城司的地位和重要性。”
杨光华其实心里有数，他已经感觉到，徽宗要让他来干这个皇城使。但他还是装着一愣，满脸的惊讶、惊愕、大吃一惊的样子，说：“哎呀，皇上这可不行，我能干得了吗？皇城司虽然品级不高，但是它的位置非常重要，责任非常重大。他既关系到皇上和国家的安全，又关系到皇上决策的正确与否，也关系到各项重大决策能否准确坚定的落实下去，还关系到各级官员、各级官府和朝廷各部门的风气、状态。所以我觉得，应该有一个学识功底更深更扎实、能力更强、水平更高、综合素质更全面的人，特别是能够对皇城司的独特性有准确把握、能够更好地履职、建功的人来担任。如果皇上您觉得光华能够胜任，那我千恩万谢皇上的信任，我将不负皇上的重托。但是如果皇上你仅仅是要考验我一下，或者说是听听我个人的建议，那我觉得，还有一个人更能胜任这个职务。”
徽宗听到这里，就盯着杨光华问道：“谁呀？你认为这个人是谁呢？朕可要告诉你，这个人必须具备一个最大的特点，那就是必须高度的忠诚于我，跟我的心走的最近，真正了解我，懂我，不然的话他无法当好皇上的这个文武兼备的助手。”
光华一听和徽宗这话，明白了徽宗已经认准了他。徽宗的这些话，实际上就是卡着他做了一个模子，只不过就是让他自己表个态罢了，所以他不敢再说心目当中那个人到底是谁了。而事实上，他心目中并无别人，那样说，也是为了试试皇上对任用他的态度是否坚定。他说道：“皇上，请恕臣 无状。臣刚才说的这个人，达不到皇上您的要求，其他的方面或许能够达到，唯独后边这个要求，真正的懂皇上，真正的跟皇上没有任何间隙的一心一意， 确实很难做到，因为这个人太耿直，有的时候这种耿直会成为执拗倔强。”
徽宗干脆笑了起来，说，“对了，你算说到家了，这种执拗倔强的人，他怎么能够做好皇城使呢，不能够啊，那谁能够呢？杨光华呀！哈哈，你知道吗？杨光华！天下独一无二、唯独唯一的杨光华！”
杨光华深知，徽宗这话，虽然听着兴奋当中带点儿戏谑，但却是真心的。于是便说：“皇上，光华无限感激皇上的高度信任，如果皇上不容光华推辞的话，光华一定不负皇上重望，在做好皇上秘书各项工作的前提下，不遗余力的把皇城司的职责担好，把皇城司的工作做好，为皇上的正确决策、为皇上和国家的安全、为江山的稳定努力奋斗。”
徽宗满腔欣慰地继续笑着说，“好啊，好啊好啊，此事啊，就这么定了。明天上午啊，再把蔡京和张商英叫来，我给他们先谈一下，听听他们的意见，然后就定下来。这样你和高俅的任职呢，一个诏书下去。最近三天不上常朝，正好给你们有一天时间准备一下，等三天后上常朝的时候，在朝会上宣布。高俅上任，由你去宣布。你去皇城司上任，我亲自去颁布诏书”。
阳光华连忙摇手，说：“皇上，我上任啊，不要皇上您亲自去，任何事情特别是朝廷的重大决策必须留有空间，您去了，就没有后墙了。万一有点儿问题的话，就没了余地” 。
徽宗截断杨光华的话，果断干脆地说，“不行，你去皇城司上任，我必须亲自去。我们要把皇城司，真正打造成皇上亲自领导的，高于各执法部门的具有特殊职能和独特作用、地位的这样一支部队，这样一个部门。要不然，你杨光华的作用，你杨光华的威力怎么能展示出来，怎么能威震天下呢？”
徽宗这一番话，令杨光华无法再说别的，心里却想到了更深层的意义：皇城司的职能特点突出，有特殊性。徽宗把这样一个特殊的军事部门、警卫部门和特务部门交到他手上，他杨光华自然是必须有效地发挥其独特的作用。必须的！