第二年,京城的西面有盗案,杀了守令,富弼推荐希亮是可用之才,起任房州的知县。房州一向没有官兵的防备,人们被摧残的都快过不下去了,希亮将城中的人组织起来,得到了百人的军队。日夜操练,喊声直穿过山南,人们因此感到了安全保障。当时大盗党军子正嚣张,转运使派遣供奉官崔德赟抓捕他。崔德赟没有抓到党军子,就围攻了竹山上盗贼曾经住过的人家向氏,杀父子三人,把他们的头挂在南阳市城门。说:“这就是党军子。”陈希亮察明了向氏的冤情,将崔德赟打入监狱,崔德赟不服。后来在商州抓到了党军子,皇上下令赐给向家布帛,恢复了他家的名声,把崔德赟流放到通州。有人说华阴人张元跑到夏州,做了赵元昊的谋臣。皇上下令流放他的一百多族人到房县,稽查人员出入,饥寒将死。陈希亮说:“张元的事情真假难辨,假使他果真有这样的事情,为国家做事的人终究是不顾家庭的,只要坚持他一人做贼就是了。这些人又都是他的远亲,没有罪。”于是秘密上书给皇上,皇上下令释放了那些人。老幼族人在陈希亮庭前哭告说:“我们今天要回到自己的故乡了,然而怎么能忍心离开像父母一样的你呢?”于是画了陈希亮的画像供奉。
皇祐元年,移职滑州。到殿上奏事,仁宗慰劳他说:“我知道你所痛恨的事情,不再惩罚有关沈氏的事情。”还没出发,下令提举河北便籴。都转运使魏瓘弹劾陈希亮擅自增损物价。不久魏瓘升值为龙图阁学士、任职开封府,希亮请求当庭对辩。对辩之后,仁宗认为希亮是对的,剥夺魏瓘职位到越州做知县,并且想任用希亮。希亮言:“我与转运使不和,不能说自己没有罪过。”坚决请求回到滑州。正赶上河溢池堤,将要决口,希亮召集全部河上使者,发动正规军守卫。在将要决口的地方住着,吏卒百姓哭着再三劝说,希亮坚卧不动,水也下去了,人们把他比作汉代王尊。 这一年,宛句有了盗贼,白天抢劫了张郭镇,抓走了濮州通判井渊。仁宗因此担忧,询问执政是否有可以任用的人。还没等执政回答,仁宗说:“我有了人选了。”于是任用希亮为曹州。不过一个月,就抓获了全部贼党。
希亮为人心地清净,欲念淡薄,不会对人和颜悦色,从王公贵族都敬畏他。见到正义的事情勇于去做,不计较祸福后果。他到的地方,狡猾的人和奸诈的官吏都会改变思想和行为,不改的人一定会受到惩罚。但是他有仁慈之心,所以他是严厉但不残忍。少时曾与同乡宋辅一起游学,后来,宋辅在京城身亡,他母亲老迈,儿子宋端平幼小,希亮赡养宋母一直到老,还将自己的女儿许配给宋端平,让他和自己的儿子一起学习,最终考中进士。