秦代开始形成制度，之后便成为历代的一项重要政治制度。经过长期的发展，这一制度逐步健全和完备。在公元前221年，中国历史上第一个皇帝——秦始皇统一中国，建立起封建专制主义的中央集权制度，并创建了相对独立的监察制度。在中央设立御史大夫，位列三公，以贰丞相，御史府为其官署，掌握天下文书和监察。在地方上，皇帝派御史常驻郡县，称“监御史”，负责监察郡内各项工作。
汉
汉承秦制，但较秦制更严密。在西汉，中央仍设御史大夫作为长官，御史中丞为副，兼掌皇帝机要秘书和中央监察之职。在地方上，西汉初年废监御史，由丞相随时委派“丞相史”，分刺诸州。汉武帝时，为加强中央对地方的控制，全国分为13个监察区，叫州部，每个州部设刺史1人，为专职监察官，以“六条问事”,对州部内所属各郡进行监督。丞相府设司直，掌佐丞相举不法。朝官如谏大夫加官给事中，皆有监察劾举之权。郡一级有督邮，代表太守，督察县乡。宣帝时，会侍御史二人掌法律文书，也有评断决狱是非之权。因特别使命而设的符玺御史、治书御史、监军御史、绣衣御史（亦称绣衣直指）等，分别行使御史的职权。西汉末年，御史大夫更名大司空，御史府改作御史台，由御史中丞主管监察事务。东汉时，御史台称宪台，仍以御史中丞为长官，但职权有所扩大。御史台名义上转属少府，实为最高的专门监察机关。它与地位显要的尚书台、掌管宫廷传达的谒者台，同称“三台”。东汉侍御史，掌纠察；治书侍御史,察疑狱。把全国分成13个监察区，包括1个司隶（中央直辖区）和12个州。司隶设司隶校尉1人，地位极为显赫，朝会时，与尚书台、御史中丞一样平起平坐，号曰“三独坐”。司隶校尉负责监察除三公以外的朝廷百官和京师近郡犯法者。每州置1刺史，用以监察地方政情、受理案件、考核官吏。由于事权混杂，后来刺史逐渐变为凌驾于郡之上的一级地方一级的行政长官，失去了监督地方的作用，故改称州牧，州也由监察区变为行政区，地方的监察制度便基本瓦解。
这一时期基本处于封建割据的分裂状态。各朝的监察机构名目不一，但体制与汉代相同，亦有部分变化。魏晋时，御史台不再隶属少府，而成为由皇帝直接掌握的全国性的监察机构。南梁、后魏、北齐的御史台（亦称南台）和后周的宪台，仍以御史中丞为主官，北魏称御史中尉。由于监察长官权势日大，出现了防范监察官员犯法渎职的规定。群臣犯罪，若御史中丞失纠，也要罢官。魏晋以后，为防止监察机构徇私舞弊，以发挥其监察效能，明确规定大士族不得为御史中丞。晋以后，御史中丞下设殿中御史、检校御史、督运御史等，分掌内外监察之权。此时，地方上不再设置固定的监察机构，由朝廷不定期地派出巡御史监察地方官员。此外，御史“闻风奏事”的制度也在这个时期形成。
隋代时，中央的监察机构仍为御史台，改长官御史中丞为御史大夫，下设治书御史2人为副；改检校御史为监察御史，共12人，专执掌外出巡察。唐代发展了隋代的监察制度，使监察机构更趋完备。唐初，中央设御史台，由正三品御史大夫为台长，设正四品御史中丞2人为辅佐。御史台称宪台，大夫称大司宪。武则天时，改御史台为左右肃政台。中宗后又改为左右御史台。御史台的职权是“掌邦国刑宪典章之政令，以肃正朝列”（《唐六典》卷十三）。御史台下设三院：1台院，侍御史属之，“掌纠举百僚，推鞫狱讼”；2殿院，殿中侍御史属之，“掌殿廷供奉之仪式”；3察院，监察御史属之，“掌分察百僚，巡按州郡，纠视刑狱，肃整朝仪”（同前）。唐初全国分为10个监察区，称10道（后增为15道），每道设监察御史1人（先后称为按察史、采访处置使、观察处置使等），专门巡回按察所属州县。唐代进一步扩大了监察机构和御史的权力。御史台享有一部分司法权，有权监督大理寺和刑部的司法审判案件。
谏官系统在唐朝也趋于完备。谏官的设置，秦汉时已有，魏晋南北朝时有较大发展。至唐代，中央朝廷实行三省制，其中门下省的主要职责是匡正政治上的得失，以谏诤为任。门下省置散骑常侍、谏议大夫、补阙、拾遗（其中右补阙、右拾遗隶中书省）、给事中等职，举凡主德缺违、国家决策，皆得谏正。其中给事中掌封驳（即复审之意）诏制，权力更重。
宋代监察机构随着封建专制主义的发展而加强。中央沿袭唐制，御史台仍设三院。地方如设通判，与知州平列，号称监州，有权随时向皇帝报奏，成为皇帝在地方上的耳目。此外，路一级的转运使、提点刑狱公事等，也负有监察州县的责任。为保证监察御史具有较多的从政经验，宋代明确规定，未经两任县令者不得任御史之职。按规定，御史有“闻风弹人”之权，每月必须向上奏事一次，称“月课”；上任后百日必须弹人，否则就要罢黜为外官或受罚俸处分，名为“辱台钱”。从此开御史滥用职权之例。御史可以直接弹劾宰相，亦有劝谏之责。御史台还有权分派御史参与重大刑事案件的审理。
元代中央设御史台，御史大夫秩高从一品，“非国姓（蒙古贵族）不以授”（《元史·太平传》）。还在江南和陕西特设行御史台，其组织与中央御史台相同，作为中央御史台的派出机关。这是元代监察制度的重大发展。全国分为22道监察区，各设肃政廉访使（即监察御史）常驻地方，监察各道所属地方官吏。