Kar.98卡宾枪表现出来的缺点主要有精度差，这是由于卡宾枪的枪管较短，而且枪的重量也较轻的缘故。此外卡宾枪在发射7.92mm S式轻尖弹时枪口焰过大，虽然附带有消焰器，但当卡宾枪装上消焰器后就和全尺寸的98式步枪一样长了。

Kar.98卡宾枪的缺点导致德国陆军决定改进现有的Gew.98式步枪并继续服役，这些改进项目包括减小了兰格（Lange——用设计者的名字命名的）式照门的射程装定表尺，在1922年开始，兰格式瞄准具被一种斜板式、从100到2000米内可调的新瞄准具代替。由于此时德军开始改换新的sS式重尖弹，因此新的瞄准具也分别适合“S”或“sS”弹的两种斜板表尺。

Gew.98步枪的另一个改进是在改进计划中要以一个比较宽的枪管箍代替原来的后箍，这使枪托与枪管轴之间更匹配。弹仓内的托弹板也由一个有直角尾肩的新托弹板代替，这样当弹仓打空后会让枪机不能关闭，空仓挂机功能不仅能起到提示作用，而且也间接提高了装填速度。

山地部队，特别是骑兵队，都想要一种新的卡宾枪代替Kar.98卡宾枪。大概从1925年开始，那个需求与一些用740mm枪管把98式步枪改装成长卡宾枪的试验不谋而合了。照门和托弹板都参照改进的Gew.98步枪里面提到的改进，枪管前箍底部的小钩被取消。这个钩的作用是在阅兵时穿上绳子挂枪用的，仪容是这个钩子的唯一功能。在进一步的改进中，拉机柄被向下弯曲，枪托右侧用椭圆形的切面使射手握得更牢固。枪管后箍底部的背带环改到左侧，并在枪托尾部左侧开槽以安装背带。

新的卡宾枪被称为Karabiner 98b，虽然它的740mm长的枪管让“卡宾枪”这个称呼听起来不大恰当，但德国军队却是把它当卡宾枪用，作为骑兵部队（mounted troop）的主战步枪。当Kar.98b卡宾枪推出时，原本的Kar.98卡宾枪和Kar.98AZ卡宾枪被统一重新命名为Kar.98a式卡宾枪。

Kar.98b卡宾枪的灵感其实是来自于第一次世界大战时由德国陆军自行车连队所使用的Radfahrer Gewehr（自行车步枪），自行车步枪与标准的Gew.98步枪基本相同，只是使用了下弯式的拉机柄和背带改在左侧而不是底部。而战后德国第一款改进型的G98自行车型就称之为Gew 98 für beritten。

并非所有的Kar.98b卡宾枪都是用旧枪改装的，其中有一些是重新生产的。位于苏尔的Simson公司是在凡尔赛条约下唯一被允许为德国军队生产轻武器的公司，该公司获得生产10,000支全新Kar.98b卡宾枪的合同，这份合同大概在1926年左右判出，有一些在一战结束时剩下的Gew.98步枪的零部件被用在这个生产计划，可谓丝毫不浪费了。

新生产的Kar.98b卡宾枪在机匣环的右侧有一个与众不同的“S”字母，没有名称标记。至于用旧枪改装出来的Kar.98b，则在机匣左壁上打有“Karab. 98b.”的标记，由于原本Gew.98步枪上已经有年份标记，因此改装后的新枪在原有生产年份后面加上一个两位数的改装年份标记（例如：1918/26）。