初露峥嵘，棒杀洛阳大权贵
灵帝熹平三年（公元174年），二十岁的曹操被地方推举为孝廉。有了孝廉的资格，就可以做官了。曹操开始时被任命为郎（帝王侍从官的总称），接着由尚书右丞、京兆尹（相当于郡太守）司马防（字建公，司马懿父亲）推荐，出任洛阳北部尉，正式踏上仕途。
尉的官职不高，是县令的副手，主管军事，负责查禁盗贼，维护辖区的社会治安。曹操既然出任洛阳北部尉，就要负责洛阳北部地区的治安工作。但洛阳是京城，四方会集，五方杂处，社会治安很乱。又因为是在天子脚下，权贵不少，经常有权贵的子弟、亲丁仗势欺人，为所欲为，一般人和职位比较低的官吏都不敢招惹他们。一些豪强子弟和地痞流氓又常在夜里走街串巷，敲诈勒索，无恶不作，把洛阳城搞得乌烟瘴气。
曹操担任洛阳北部尉后，年轻气锐，很想有所作为，为百姓除害，干出一番事业，树立自己的名声，加上家中又有后台，便放手干起来。
新官上任三把火，曹操到任的第一天，就命令工匠把年久失修的都尉衙门粉饰一新，又下令连夜赶造五色棒，涂上青、赤、黄、白、黑五种颜色，在衙门左右悬挂。同时张贴告示，申明禁令：禁止夜行。如有违反禁令，不管是平民百姓还是豪强权贵，一律用五色棒打死。
夜禁令一出，街头巷尾议论纷纷。有的说，这下夜里可以睡个安稳觉了；也有的说，这只不过是新官上任，做给人看的。至于那帮作恶多端的豪门贵戚，根本不理会什么夜禁不夜禁，小小部尉在他们眼里根本就不算是个官，夜里他们照样明目张胆地在街上胡作非为。曹操手下的衙役也不敢得罪豪强，遇到豪强子弟为非作歹，也是见怪不怪，大事化小，小事化了，瞒着曹操不敢禀告。因此禁令颁布了好几天，治安仍不见好转。
宦官蹇硕是“十常侍”之一，十分受皇帝宠信，统领禁军，权倾朝野。因而，蹇硕的叔父常常仗势为所欲为，京城里谁也不敢得罪他。曹操下令夜禁，他当然也不把曹操放在眼里，故意违禁夜行。
一天，曹操决定亲自夜巡。他带着几名巡官和兵丁绕过白马寺，来到豪门贵族居住最集中的街上。走着走着忽见一个头戴乌纱帽的干瘪老头匆匆走过大街，后面还跟着两名家丁，老头在一家民房前站住了。家丁上前敲门：“开门，开门！”屋里没有动静，家丁大声喊叫：“快开门，老爷驾到，还不快出来迎接！”屋里仍没有反应，只见家丁猛地一脚，“咔嚓”一声，大门被踢开了。老头和家丁一拥而进，屋里传来妇女的哭喊声。
这一切，曹操看得真真切切，他愤愤地下令：“把那人抓来！”
不一会儿，一位巡官回来悄声禀告：“大人，那位老爷我们惹不起……”
曹操一问，才知道那老头是宦官蹇硕的叔父。
曹操正要找一个可以杀鸡儆猴的机会，杀杀权贵们的威风，他心想：“今日放过这种人，日后怎能做到令出必行？”
决心一下，曹操斩钉截铁地下令：“带走！”
第二天清晨，北部尉衙门前人头攒动。当人们得知蹇硕的叔父被抓了起来，一片哗然，都想看看这位年轻的北部尉如何处置这位老爷。兵丁把蹇硕的叔父押到衙门前，曹操站在台阶上，指着门旁悬挂的五色棒喝道：“你看清楚，这是什么？”
老头虽然被抓，料定这个芝麻小官不敢把他怎么样，又见曹操如此年轻，欺他不懂人情厉害，不由得冷笑一声：“这是小孩子耍的玩意儿。”
曹操向四周扫视了一眼，毫不客气地吩咐左右：“开打！”话音刚落，几根五色棒向着蹇硕的叔父劈头盖脸地打去。不一会儿，他就像条死狗似的瘫在地上，一动也不动。
五色棒结果了蹇硕叔父的性命。小小的洛阳北部尉棒杀了皇帝身边大红人的叔父，这消息一传十、十传百，很快传遍了全城。
维护公权，政治明星新起步
曹操在洛阳北部尉任上兢兢业业，最大的成就是棒杀了大宦官蹇硕的叔父，狠狠打击了皇亲国戚、豪强的嚣张气焰。而且事情办得滴水不漏，使得那些憎恨他的人无法开口，只好找个理由将他赶出京城，去做了顿丘令。但他的雷厉风行、不畏权贵的整治作为为他积累了一定的声望。
熹平六年（公元177年），曹操离开京城洛阳，去顿丘做县令。后来曹操带兵南征孙权，临行前勉励他儿子曹植说：“我过去任顿丘令时，才二十三岁。回想当时的所作所为，无悔于今天。”说明曹操在任顿丘令期间，对自己的表现与作为还是很满意的。
曹操出任顿丘令不久，就被朝廷召回任为议郎。议郎的职务是顾问应对，可参与时政的议论。议郎属于闲职官，没有具体工作，没有实权。次年，即光和元年（公元178年），汉灵帝听信宦官的诬陷，废掉宋皇后，宋皇后的父亲宋酆及其几个兄弟被杀死。曹操的堂妹夫宋奇因是宋皇后的同宗也被杀。曹操平时刚直不阿，得罪了不少朝中大臣，他们恨不得一脚把他踹出京城。再加上有了这档子事，宦官们捕风捉影，把曹操也牵连上了，因而将其免官。
曹操被免官后，不愿在洛阳闲居，便回到家乡谯县居住。光和三年（公元180年）又被征召，拜为议郎。
议郎虽然是个闲职，但曹操却忠于职守，不甘寂寞，想为朝廷多提些建议，使政治清明。他首先想起灵帝初年大将军窦武与太傅陈蕃被宦官杀害的事件，想为窦武、陈蕃申冤鸣不平。他经过详细调查了解后，认为窦武、陈蕃等死得冤枉，应该给予平反，以求得公正，有利于改善政治。
于是，他不顾个人安危，上书皇帝请求为窦武、陈蕃平反。上书中有这样的话：窦武等人正直为公，却被无故陷害。奸邪之人充满朝廷，而真正贤臣的晋升之路被阻塞了。
从这寥寥数语可以看出，曹操不仅把矛头指向害人的官僚，翻历史的案，而且还针砭时弊，对灵帝也旁敲侧击。对曹操的建议，灵帝表面上非常赞赏，实际却无动于衷。
曹操虽然没有成功为窦武、陈蕃平反，却更加清楚地认识到了吏治的腐败。
光和五年（公元182年）正月，灵帝诏令公卿检举害民的地方官，予以罢免。太尉许有彧、司空张济趁机大肆收受贿赂，对那些民愤很大的宦官亲属、宾客，一律不予查处，反而打击了一批有政绩却没有门路的官吏，惹得民怨沸腾。那些被冤枉的官吏，纷纷向朝廷申诉。司徒陈耽也上书灵帝说明事实，结果却被宦官诬陷，反而被灵帝罢了官，押入大牢，最后冤死狱中。
曹操对许有彧、张济的所作所为非常不满，却苦于没有机会只好隐忍不发。就在这一年的二月，发生大瘟疫，四月全国又发生大旱，五月太后住的永乐宫发生大火。因此，一时间出现了不少政治谣言。灵帝相信天人感应之说，因“灾异”下诏征询政事得失。曹操借机上书，谴责公卿举奏不实，专门打击清明小吏而回避贵戚及宦官子弟，他们用不符合事实的话，蒙蔽“圣听”，丝毫起不到改变时弊的作用。灵帝由于灾祸连连，似乎有所“感悟”，不得不重视此事，将曹操的奏章发给三府（三公府衙），责备许有彧、张济的失职行为，许有彧还在稍后的十月被罢官。这次曹操抓住时机，一举成功。通过这件事也使他在政治上更加成熟起来。
曹操反对权臣胡作非为的做法，表明他同硬直派官僚的立场是一致的。一个出身于宦官家庭的青年，能够走上反宦官集团的政治道路，颇得人们的称赞。
此后，朝政越来越黑暗混乱，豪强不法之徒越来越猖狂。曹操知道用上书的办法是改变不了现状的，汉帝国就像一座快要倒塌的大厦“不可匡正”了。他只有更加坚定自己的信心，依靠自己的力量匡扶天下。
大刀阔斧，罢免贪官禁淫祀
曹操在政治上虽然采取了一些抑制豪强的措施，算是封建统治者中比较开明的一员，但他毕竟是地主阶级的政治代表。他的所作所为，是从地主阶级的利益出发的，其目的在于恢复封建统治秩序，巩固地主阶级的统治。由于这种阶级本质，决定了他对农民起义也必然要采取镇压的手段。他在中平元年（公元184年）席卷全国的黄巾农民起义中的表现，就是突出的一例。
曹操在镇压黄巾军之后，因功升迁，被任为济南相（治所在东平陵，今济南历城区东）。济南是侯王的封国，“相”是朝廷派到王国去代理朝廷处理政事的官吏，相当于郡太守的地位。这在曹操的仕途上揭开了新的一页，日显王霸之气。他决心运用手中掌握的实权，按照自己的理想，大干一番，筹划自己的政治人生。
济南国管辖的县有十多个。曹操上任后，得知这些县令大多数是上依附权贵宦官，下勾结地方豪强，贪赃枉法、鱼肉乡里的能手。而前几任国相，明知这些地方官为非作歹，也不敢加以干涉和处置。曹操经过详细调查了解情况后，上书朝廷，一举将县令罢免了八成。顿时，济南国大小官吏无不震恐，一些犯有恶行的人为了逃避法律，纷纷逃往外郡。于是，济南地区的社会治安大为好转。
当时，修祠庙祭祖成了风气。祠庙修建得越来越多，笃信鬼神之风越来越盛，济南地区尤为厉害，当曹操上任时，祠庙竟达到六百多处。
祭祀功臣、怀念祖先，本来是件好事，曹操也是个开明的国相。他认为，按照国家典章规定建的祠庙，按照礼制的内容进行祭祀活动，这是允许的。但济南的大多数祠庙并不是按典章而建，属于滥设的祠庙，更不是按礼制的规定进行祭祀，而是大行奸邪鬼神之事。更有甚者，一些有钱的商人地主，大肆铺张，他们坐着只有朝廷官员才能坐的车子，穿着官服，招摇过市，丝毫不把朝廷放在眼里。还请些艺人唱唱跳跳、吹吹打打，以标榜祖宗的所谓功德，借以抬高自己的身价。
有些心怀鬼胎的人还把这些祠堂变成迎神赛会、诈骗钱财的场所。进行祭祀活动时，大搞摊派，使老百姓叫苦不迭。至于老百姓因迷信而自愿或被迫到祠庙进香、上供，更是经常性的负担。就这样，“淫祀”之风越刮越厉害，老百姓也就变得越来越穷苦。历任国相深知此事与权臣有着千丝万缕的联系，明知这些是违法活动，也不敢去禁绝。
曹操了解到这种情况后，就大刀阔斧地将这些“淫祠”全部摧毁，并严禁官民再搞“淫祀”活动。禁令一出，震动很大。此后，再也没人敢提“奸邪鬼神”之事了。
体恤民情，曹相国计解水患
济南国相曹操上任后，每日忙于政务，体恤民情，时常沿街巡视。
这几日因连阴雨不断，城中洪水泛滥成灾，数日不退。曹操于是问郭嘉，为何洪水迟迟退不下去。郭嘉早就明白其中的原因，便引着曹操来到济南王府的后门，指着泺水河道说：“要退城中积水，关键就在这里，请国相细看。”
曹操随着郭嘉手指的方向望去，只见泺水河两岸大大小小建了数不清的花园亭榭。这些园子，一半落在岸上，一半悬在水中；水中柱石、堤坝密密麻麻，支撑着楼台画阁。中间最大的一处，紧靠涌泉，正是济南王刘康的后花园，整个建筑几乎全在水中。原来，城中的这段泺水，河床宽阔，地势平坦，水流舒缓，清澈见底，两岸绿柳成荫，鸟语花香，像个天然花园。刘康就把王府建到此处，并建成了这座水上花园。
城中的豪门大户见王爷带头，于是竞相仿效。水上花园越建越多，好端端的泺水河，竟变成一道弯弯曲曲、水流不畅的小溪。一到夏季，阴雨连绵，山上的流水都汇聚到泺水河，洪水到得城中，就被这众多的亭台阻住了，只闹得河水四溢，城中泛滥成灾。济南王府与大户人家，都是高宅深基，山石砌成，自然不怕水淹，只苦了那些普通百姓。
曹操看罢，心中明白。第二天便径直进入王府，开门见山要求刘康拆掉花园。刘康仗着自己是皇亲宗族，不肯点头。为此，两人闹得很不愉快。
曹操回到府中，前思后想，认为既然不能硬顶，只好发挥自己的强项——用计。他找来几个精通水性的手下，如此这般，交代了一番，务必今夜完成。
却说济南王刘康被曹操顶撞，心中怒气不息。第二天，就来到水上花园散心，不想刚刚在亭中坐下，身后的逍遥亭竟齐刷刷倒塌下来，连同两个妃子都跌落在水中。
刘康惊魂未定回到寝宫，只见那些宫娥彩女一个个交头接耳，神色仓皇，似将有大祸临头。刘康脸色一沉，急忙喝道：“你们在谈什么事，快告诉我。”一个宫女哆哆嗦嗦从衣袖中拿出一幅约巴掌大小，上面写满字的白绫。刘康接过一看，却是四句偈语：
河兮流水，
园兮招灾。
风过兮我至，
子孙兮水埋。
这几句话，似通非通，半文半白，正好触及刘康的心病。他心中也揣摩花园中亭子倒塌的事情，难道真因为水上筑园，淹了城中百姓，上天显灵要惩罚我吗？他这一惊一怕，登时一口鲜血上涌，便昏了过去，一连几天卧床不起。
曹操闻听此事，心中暗笑，脸上装出一副关心的样子，以探病为名来到王府。病榻前的刘康说起生病的缘由来，自然提到水上花园一事。他有气无力地说：“悔不听国相之言，遭此一劫，几乎丧我性命！”曹操听了，正中下怀，赶忙顺水推舟说：“此乃不祥之物，还是早拆为好，上为王爷玉体安康，下为黎民苦水日久。”
刘康点点头，要曹操自去办理。王府的花园一拆，靠山一倒，哪个还敢怠慢？时间不长，那些水上花园已拆得无影无踪。不久，城中积水完全泄尽。
原来，这是曹操使的借尸还魂之计，欲借神祇显灵的假象来刺激刘康。那天夜里挑选出会水的几个人，各带刀锯，悄悄潜入王府后园，潜入水底，把那四根支撑亭子的圆木统统锯断。郭嘉又胡诌了那四句偈语，书写了数十份，半夜里沿街张贴，定会满城皆知，再加上逍遥亭一倒，刘康岂能不惊？曹操此计，收到了意外的效果。
维护治安，铲除盗贼小团伙
齐鲁之地，自古盗贼就多，百姓为此非常痛恨。曹操就任济南国相后，看到前任国相遗留的案牍之中，仅盗案一项，就有数十起至今未破。曹操上任后，把它作为一件大事来抓，常常带着心腹之人，于大街小巷微服私访。通过详细地调查，终于查清了几帮盗贼团伙的头头。
他们之中，有的住在城里，有的住在乡村，全都是高宅大院，鲜衣美食，平日里小恩小惠，济弱扶贫。众百姓不知道他们是盗首，反而认为是忠厚长者、乡里楷模。
曹操将情况查明后，把证据握在手中，却不动声色，以免打草惊蛇。过了几天，他派府衙手持请柬，把这几个盗首召至府内，饮酒谈天。正在杯盏交错之际，曹操突然板起面孔，扳着手指把他们所犯各案一一指出。众盗首大惊失色，不知所措。曹操微微一笑，说道：“你们不必惊慌，若能改过自新，协助本府把你们手下人等捉拿归案，便可赎罪，本府既往不咎。”
众盗首见证据已被掌握，自忖如不答应，难免陷牢狱之苦，便跪在地下，口中说道：“愿遵相府指教，弃旧图新，弃暗投明。只是今日蒙召来到相府，必然会被手下人所怀疑。如果他们得知了消息，远走他乡，无处捉拿，如何是好？”
曹操笑着说：“这事无妨，本府教你们一个办法，管保一个也漏不掉。”
众盗首不知何法，只得站起身来，附耳到曹操嘴边，曹操如此这般叮嘱一番。众盗首拍手叫好，暗暗佩服曹国相处事多谋，然后各自回家。曹操给他们每人发了一张相府明文，上面称，曹国相已知你们的善德素行，将其召为郡吏。手下各盗听了此消息，都来登门贺喜，盗首摆酒相待。盗贼们真以为此后官府中有了耳目，更容易作案，个个好不喜欢，直喝得酩酊大醉，方才辞去。哪知刚出门外，即被差役捉拿，好似顺手牵羊一般，无一个漏网。
众盗贼全被拿下，带到相府，曹操亲自升堂问案。起初，盗贼还要抵赖。曹操拍案大怒道：“你们都相互看看背后，各有记号，难道还敢抵赖吗？”
群盗闻言，互看背后，才知被自己的头领所卖，这才哑然无语，俯首认罪。自此，曹操威名远振，一时间枉法者收敛了劣迹，盗窃者绝了踪迹，济南境内肃然，百姓乐业，虽说不上是“夜不闭户，路不拾遗”，像那先朝圣人的治绩，可也算得上是清平世界。今人一提到曹操，皆说他暴虐百姓、奸诈毒辣，实在是天大的冤枉。
以退为进，打入皇室核心中
曹操一连串的雷霆行动赢得了荣誉和喝彩，却得罪了朝中当权的宦官，地方豪强也对他恨之入骨。曹操一方面不愿意违背自己的志向去迎合权贵，一方面又考虑到已经多次触犯权贵，再这样下去，担心会使全家受到连累。为了避免发生不测之祸，曹操辞去了济南相的职务，请求回到宫中值宿，担任警卫，实际是要求赋闲。朝廷再次任命他为议郎。曹操表面上虽然接受了，但却常常装病，不去上朝。第二年，即中平二年（公元185年），朝廷让曹操去做东郡太守。为了避开权贵们对自己刚露出的锋芒进行打击，也为了等待时机再显身手，曹操决定采取以退为进的策略。他以健康状况不佳为由，上书辞掉了对他的任命，回到故乡谯县去了。
曹操这一大胆反常的举动，使朝中人士大为不解。一个三十三岁的青年，风华正茂，仕途也算顺利，正是大展雄才之时，居然辞官不做，实在是不可思议。其实，曹操的举动都是经过深思熟虑的。
曹操想过一段远离政治风云的清静生活。回到家乡后，他没在少年时候的地方居住，而是在谯县城东二十五公里的僻静处，盖了一座幽雅的书屋，春夏习读书传，秋冬射猎健身，文武并进，积蓄力量，希望他日东山再起。
他不问政治并不是不关心政治，他随时都在关注政局的发展变化。曹操并未能在谯县赋闲多久，就因形势的需要而被征召出山了。中平元年（公元184年），黄巾主力被镇压后不久，金城人边章、韩遂起兵反叛。第二年春天，率军数万进攻长安附近地区，侵逼刘氏皇陵。朝廷派车骑将军皇甫嵩征讨，无功而还。复以司空张温为车骑将军，董卓为破虏将军，与荡寇将军周慎等率步骑十余万进讨，先败后胜，边章、韩遂败回金城。中平三年（公元186年）冬，韩遂杀边章等人，拥兵十余万，进围陇西。太守李相如反，与韩遂联合，共杀凉州刺史耿鄙。耿鄙帐下的司马、扶风人马腾也拥兵反叛，起兵响应韩遂。一时间天下骚动，朝廷震恐，于是赶忙网罗人才，企图加固根基。曹操便在这时被召为都尉，被任命为八校尉之一的典军校尉，成为带兵的武官。
曹操自己也说他原来的理想是为列侯、当将军。进西园新军当将领，是他实现这一志向的极好机会。典军校尉这一任命，对曹操的诱惑力太大了。他不得不结束“隐居”生活，怀着激动的心情，进京上任了。
曹操手中有了兵权，成为一些人瞩目、拉拢的对象。中平五年（公元188年）五月，术士襄楷对冀州刺史王芬说：“天象的变化不利于宦官，黄门、常侍真是到了灭族的时候了。”王芬信以为真，于是勾结南阳许攸、沛国周旌等人，同时联络了一些地方豪强，以黄巾余部黑山义军攻掠郡县需要起兵镇压为借口，给灵帝上书，请求灵帝北巡河间，企图利用灵帝北巡的机会发动政变，废除灵帝，诛杀宦官，另立合肥侯为帝。他们也来约见曹操，曹操冷静地分析了形势和条件，认为这个计划必然失败而加以拒绝。其辞云：
夫废立之事，天下之至不祥也。古人有权成败、计轻重而行之者，伊尹、霍光是也。伊尹怀至忠之诚，据宰臣之势，处官司之上，故进退废置，计从事立。及至霍光受托国之任，藉宗臣之位，内因太后秉政之重，外有群卿同欲之势；昌邑王即位日浅，未有贵宠，朝乏谠臣，议出密近：故计行如转圜，事成如摧朽。今诸君徒见囊者之易，未睹当今之难。诸君自度：结众连党，何若七国？合肥之贵，孰若吴、楚？而造作非常，欲望必克，不亦危乎？
从语意上看，曹操似乎并不反对废掉灵帝，只是觉得时机还不成熟。文章从古今形势和欲行废立者的主客观条件两方面条分缕析，言之凿凿、头脑清醒、谋虑深远。不久，王芬等的阴谋果然败露。王芬畏罪，弃官逃走，在途中自杀。
黄巾起义之后，灵帝认识到军队的重要，日益留心军事。在起义四起、天下扰攘的情况下，决定组织西园新军，来加强拱卫首都的力量。中平五年（公元188年）八月，在西园成立统帅部，即所谓“西园八校尉”。宦官蹇硕最得灵帝宠信，被任命为上军校尉，连大将军何进也得听他指挥，成为实际的全国最高统帅。虎贲中郎将袁绍因是“四世三公”之后，加之他家又曾和宦官袁赦攀过本家，被任命为中军校尉，也就是副统帅。此外，鲍鸿为下军校尉，曹操为典军校尉，赵融为助军左校尉，冯芳为助军右校尉，夏牟为左校尉，淳于琼为右校尉。曹操能够打进新军并任要职，弄得蹇硕也不得不与这位十四年前曾经棒杀自己叔父的仇人共事，除了曹操本人的才干和已经建立起的名声外，其父、祖父的余荫显然也在这里发挥了一定的作用。
曹操成为东汉皇室核心武装的将领，使他在仕途上又迈出了重要的一步，在一定程度上也可以说是以退为进策略的胜利。曾经的志向突然变为现实，使得他的志向发生了跳跃式的升级。他开始有了匡扶天下的野心，这也预示着曹操在政治舞台上将会有更大的作为。