汉代的基本阶级构成是地主和农民。地主阶级包括皇帝、贵族、官僚和一般地主。农民阶级包括自耕农、佃农和雇农。手工业者的经济地位相当于农民。商人的经济地位比较复杂，大商人一般都是大地主，是统治阶级的一部分；小商贩的经济地位类似于手工业者和自耕农，是被统治阶级的一部分。以上社会阶层从其法律地位来说，都属于自由人。此外，还有数量众多的奴婢和刑徒，他们的身份地位最为低下，但在社会生产中却发挥着不容忽视的作用。
地主阶级掌握国家权力和大量财产资源，拥有大量的土地。居于这个阶级最上层的是以皇帝为首的，包括诸侯王、列侯和官僚的贵族地主。在秦末农民起义和楚汉战争中获得官爵的军功地主，是地主阶级中的一个重要阶层，在汉初几十年中一直居于统治地位。
皇帝在名义上是全国土地的最高所有者，此外，还以山川园池市肆的租税收入作为"私奉养"，置少府官主领。武帝时把铸币权收归朝廷，置水衡都尉掌管，铸币盈利也入少府，皇室直接掌握的财富非常巨大。
不仅如此，一些昏庸之君还公开卖官鬻爵，兼并土地，"置私田于民间"，大肆敛取社会财富。诸侯王在封国，列侯在侯国，公主在县道，以及其他拥有高爵的官僚地主在食邑内，凭借国家机器强迫农民缴纳租赋，提供无偿劳役。他们还通过各种手段掠夺土地，拥有几百顷、上千顷的大地产，役使众多的奴婢和依附民从事生产。
工商地主是伴随西汉社会经济的恢复和发展逐渐成长起来的地主阶层。西汉初年，商人的法律地位十分低下。汉政府继承了秦代的重农抑商政策，对商人采取政治上压抑、经济上困辱及社会歧视的措施。但是，在农、工、商三业中经商更容易迅速致富，当时有俗语说："用贫求富，农不如工，工不如商，刺绣文不如倚市门。”所以商人利用各种手段逃避限制，扩大经营，使抑商法令形同具文。正如晁错向文帝所说：“今法律贱商人，商人已富贵矣！”
西汉前期，社会上活跃着许多大盐铁商、大贩运商、大林牧商、大子钱家等。他们借国家开放山林川泽之机，即山冶铸，煮海为盐，行销郡国，或大放私债，无不家赀巨万。他们资金雄厚，生产规模庞大，有的冶铁商同时役使上千人的劳动力。
西汉前期由于商品经济活跃，国家又很少干预私营工商业的发展，因此工商地主基本以扩大各自的产业规模为主，兼并土地的问题还不十分突出。西汉中期以后，由于国家实行经济垄断政策，工商地主转而把资金投向农业，扩大地产，并逐渐向综合经营的方向发展。与此同时，许多官僚地主也利用职权之便兼营商业，牟取暴利。
武帝时，董仲舒就建议“受禄之家，食禄而已，不与民争业”。元帝时，贡禹奏请自尚书诸曹和侍中以上的皇帝近臣，都不许私自经营商业，说明官僚地主经营商业的现象是比较普遍的。
农民的大多数是拥有一定数量土地的自耕农。西汉国家对自耕农的剥削，和秦代相比有所减轻。但是就当时的生产力水平而言，农民的租赋负担仍然非常沉重。对农户来说，一家5口，种田百亩是最理想的和最基本的小农经济单位，但实际上，一户农民根本占不到百亩耕地。
据文献记载和简牍碑铭资料作综合分析，自耕农的中上层一般占有60亩左右的耕地，不计副业收入，每年收粟约120石。按汉制，民年15至56，岁纳120钱，称算赋；7岁至14岁的儿童，岁纳20钱（武帝时增至23钱），称口赋；此外，农民每年还要为国家无偿服徭役一个月，不愿服役者可出钱300交官府雇人代役，称更赋，武帝以后，更赋逐渐转变为赋税的一种。
正税之外，还有资产税、车船税、六畜税等。这样一来，农民缴纳的各种赋税已占农业收入的四分之一以上。而对拥有30亩耕地以下的民户来说，则占农业收入的二分之一左右。所以王莽批评汉政时说：“汉氏减轻田租，三十而税一，常有更赋，罢癃咸出，而豪民侵陵，分田劫假，厥名三十，实什税五也。"
农民的年收入扣除口粮、租赋、种子、饲料、农具、祭祀往来等项支出，基本所剩无几或根本没有剩余，不足部分只有靠副业收入贴补。这就说明，即使在年景比较正常，社会比较安定，额外赋役负担较轻的情况下，中等以上的农户可以维持其生产和生活，扩大再生产的能力则不大。而下等农户就经常处于缺吃少穿的境地，有些连生产都难以维持，要由政府贷给农具和种子。
两汉时期，粮食和土地的价格因时因地有所不同，但总体来讲是偏低的。粮价在文景时期每石高不足百钱，低则十余钱。宣帝时由于连年丰稔，谷价降到每石五钱，边远的金城、湟中地区，每石也不过八钱。田价以关中和洛阳地区为上价，比较正常的情况是每亩1000~2000钱。居延边地每亩约为几百钱。
但是农民所需耕牛，一头就值数千钱乃至万余钱。马当时也用于犁耕，由于战争的需要，每匹低则四千，高则几万。物价的这种不平衡状态，对地主、商人兼并有利，而对农民却极为不利。农民贱价出卖粮食，甚至出卖土地，高价购买耕畜、农具和其他必需品，一进一出，损失很大。尤其在纳税季节，富商大贾借机压低粮价，更使农民雪上加霜。
基于以上原因，一旦遇到水旱之灾，急政暴赋，农民破产流亡就在所难免了。早在号称“无兼并之害”的文景时期，晁错就尖锐指出：农民终年劳作，无日休息，纳税服役，还会碰上水旱之灾，急政暴赋，以至于半价出卖粮食，没有粮食的只好去借高利贷，“于是有卖田宅、鬻子孙以偿责者矣”。
贾谊也曾揭示农民的处境说：“失时不雨，民且狼顾；岁恶不入，请卖爵子。”到了武帝时期，汉初以来的“重农”政策由于全国经济结构的变化和武帝频繁的内外举措，更失去了作用。农民负担日重，大批农民破产流亡，其数量一度达200多万。西汉后期，农民的处境进一步恶化，出现“民有七亡而无一得"、"民有七死而无一生"的严重局面。
破产的衣民，一部分被迫依附于大地主作佃客，多数或流亡城市，或沦为奴婢。佃客一般以对分的比率向地主交纳地租，即董仲舒所谓“或耕豪民之田，见税什五"。佃客租种地主的土地，势必在人身上对地主有一定的依旧性，依附程度历西汉中后期不断加深，至东汉演化为地主的依附农。东汉崔算在《政论》中谈到农民的处境时说：“故下户崎岖，无所跨足，乃父子低首奴事富人，躬帅妻孥，为之服役。”
这些奴事富人的农民已经成为典型的依附农。还有一些破产的农民，为生活所迫，只能为人佣工。佣工的种类，见于文献的主要有佣耕、仆役、酒家佣保等，有的为主人采黄金珠玉、修治沟渠、营造陵墓。雇佣劳动在汉代社会生产中不占重要地位，一般具有临时性质，国家往往采取“假民公田”、推行屯田等措施，招抚流庸，或在年景好转之时，让流亡为佣的农民重新返回乡里，著籍为民。
奴婢分为官奴婢和私奴婢两类，数量都很多。官奴婢的来源，一是罪犯本人以及重罪犯的家属没官为奴；二是朝廷向富人募取或将私奴婢作为罪犯的财产没官而来；三为战俘为奴者。官奴婢主要用于宫廷、官府服役，在苑圃养狗马禽兽，也用于官府手工业、漕运、筑城等劳作。官奴婢数量众多，文帝时在西北边郡诸苑养马的就有3万人。武帝时推行告缗令，没入的"奴婢以千万数"。元帝时，长安诸官奴婢游戏无事者竟有10万人之多。
私奴婢主要来自破产农民。他们有的是被迫自卖为奴，有的是被人掠卖为奴，有的是先卖为"赘子"，后因无力赎取，沦为奴婢。此外，还有家生奴和买卖奴等。汉代社会私人蓄奴风习盛行，上至王侯官贵、下至商贾豪民，拥有数百、数千乃至上万个奴隶的人不胜枚举，连拥有一二百亩土地的中小地主，也役使几个奴婢。
当时，在一些大中城市都设有奴隶买卖市场，被卖的奴婢通常“与牛马同栏”。奴婢的价格，文献记载不一，通常在一人1.5万~2.5万钱之间。按司马迁的说法，贩卖100个奴隶，可获利20万。私奴婢除从事家内劳作外，也有许多被用于农业、手工业或商业活动。
在汉代，奴隶被视同主人的财产，主人对奴隶可以任意处置。国家禁止主人自行处死奴隶，但法律许可在某些情况下由主人告请官府许可然后处死奴隶，称为“谒杀”。
奴隶的悲惨命运随着社会文明程度的提高，逐渐得到社会舆论的关注。汉政府相应制定了一些不许任意杀奴和伤残奴隶的法令。但是，汉代的国家体系不仅不能制止因剥削和压迫而破产的农民沦为奴婢，而且以其残酷的法律以相当的规模和速度继续造成新的奴婢，这是汉代奴隶占有关系盛行的根本原因所在。
