班况有三个儿子：班伯、班序（音游）和班穉。他们都因为是贵戚子弟而顺利获得进身之阶。从他们兄弟三人开始，班氏又成为儒学世家。
班伯是班固的大伯祖，他早年向西汉末儒家学者，著名大臣师丹学习《诗经》。大将军王风向汉成帝推荐班伯品学兼佳，得到皇帝亲自在晏眼殿召见。因他容貌俊伟，诵读诗书抑扬顿挫，很合法度，成帝很是赞许，拜官为中常侍（出入宫廷、侍从皇帝的官员）。当时汉成帝也有读书兴趣，让大臣郑宽中、张禹早晚到金华殿为皇帝讲说《尚书》、《论语》，汉成帝特意关照班伯也一同听讲。班伯在殿上听懂了大义之后，还不满足，又同许商做更为深入的讨论，这段时间内，班伯升任奉车都尉（主管皇帝乘车）。
几年之后，金华殿讲经的做法停止了，班伯别无他事，整天和地位最显赫的王氏、许氏两家外成子弟混在一起，心里却很不自在。近氏先祖自班壹以下，儿代人都在北方边境生活，因而使班伯养成具有“志节慷慨”的豪爽气质，几次向朝廷要求出使匈奴。班氏家族这种“任侠”的特点，后来对班固、班超兄弟还有很大影响。
驱使班固晚年还随大军出征匈奴，班超立功西域。成帝河平年间（前28年一一前25年），匈奴单于来长安朝见汉朝皇帝，成帝便派班伯持使节到塞外迎接单于。当时，恰当定襄郡（今内蒙呼和浩特南）两户大姓一一石姓和季姓为报私怨，纠集众人攻衙门、杀官吏。班伯在迎使来住途中了解到这情况，向朝廷上报，并且自告奋勇，愿试任定襄太守，为期一年。
成帝正式授他为定襄太守。定襄人纷纷传说这位贵戚子弟少年得志，此番自荐来边郡平息事态，一定会采取严厉手段镇压，一时空气很是紧张，人人惊慌失措。没有料想到，班伯赴任下车伊始，先把郡中与班家几代先祖曾经有过交情的旧族老辈人，都迎接到本郡大堂之上。每日股勤招待，自称晚辈，謙恭行礼。全郡人心一下子安定下来，去掉了害怕心理。
受招待的老者都是当地知名人土，过去又都与班家有恩情交谊，今天见班伯身为太守之尊，这样优礼相待，大家很受感动，酒席间便争先恐后地建议将闹事的首恶分子抓起来治罪，使边境恢复安宁，并且主动告知首乱者藏匿的去处。班伯连连高声称谢，回答说：“这正是我对父老们最大的希望！”于是立即召集各县长吏商议，挑选精明干练的下属分头前往搜捕，顺藤摸瓜，又追查出躲藏在别处的不法分子，只十来天便全部抓获治罪。全郡上下无不慑服，称赞班伯具有过人的智慧和魄力。
在定襄一年多，朝廷召班伯回京都。班伯请求回京之前到班家祖坟上扫墓，为此皇帝还特下诏令，让郡、县官员也都去参加，表示对班家的重视。班伯集合了班氏族人，按亲疏远近给予赏赐，花费了不少钱。北方边境长老视此为盛举，长时间还忘不了这件事。不想班伯在回京师途中受了风寒，到达长安后，汉成帝进封他为侍中光禄大夫，让他养病。这时发生了对班家不利的新情况：班婕妤失宠，让她去奉养皇太后，汉成帝另封李平为婕好，封赵飞燕为皇后。这对于班伯是一个很大的打击，素性借口病重告长假，不再出门。过了许久，汉成帝亲自到班伯的住处探视，实际上也是要了解他病情真相。班伯大为不安，不敢再说养病，只好起来做事。