Опыт эксплуатации ФАИ показал, что, несмотря на относительно небольшую массу, эти бронеавтомобили могли действовать только по шоссе и хорошему проселку. Ни о какой эксплуатации этих машин в условиях грязных дорог и тем паче бездорожья не могло идти и речи. Использование в качестве базы нового шасси М-1 решило проблемы — новый броневик БА-20, хотя и имел более мощный по сравнению с ФАИ двигатель, за счет возросшей массы не сильно отличался последнего по проходимости. Выход виделся в использовании либо полноприводных шасси (а их в тот период в СССР не производили), либо шасси с колесной формулой 6x4.
В 1936 году в конструкторском бюро Горьковского автозавода под руководством инженера В. Грачева на базе ГАЗ-А спроектировали и изготовили трехосный автомобиль ГАЗ-ААА. Несмотря на то что машина показала на испытаниях хорошие результаты, но к этому времени ГАЗ-А уже снимался с производства.
Поэтому в 1936 году Грачев спроектировал трехоску ГАЗ-21 на базе нового легкового автомобиля ГАЗ М-1, производство которого разворачивалось на Горьковском автозаводе.
В ГАЗ-21 использовалось переделанное шасси и колеса от ГАЗ М-1, задние мосты, балансирная рессорная подвеска, коробка, перемены передач (с небольшими изменениями) и кабина от грузовика ГАЗ-АА. Для улучшения преодоления вертикальных препятствий под днищем машины (между передним и вторым мостами) крепились колеса небольшого диаметра.
Испытания опытного образца ГАЗ-21 прошли довольно успешно — например, во второй половине 1937 года машина прошла более 10000 км по разным регионам Советского Союза в различных дорожных условиях, показав хорошую проходимость.
С начала 1938 года началась подготовка к развертыванию серийного производства ГАЗ-21 на Горьковском автозаводе, но вскоре от этого отказались в пользу разработки легкового автомобиля колесной формулы 4x4. Параллельно с разработкой и испытанием опытного образца ГАЗ-21 АБТУ РККА заключило с конструкторским бюро завода ДРО договор на «изготовление опытного образца и проекта бронеавтомобиля на шасси 3-осной автомашины из агрегатов ГАЗ-АА и М-1» со сроком подачи броневика на испытания в ноябре 1936 года. Однако сделать это не удалось — о причинах невыполнения в отчете о выполнении заказов АБТК РККА за 1936 год говорилось: «Образец бронеавтомобиля не выполнен, так как ГАЗ дал шасси для испытания только в конце 1936 года. Изготовление образца включено в план 1937 года».
По новому договору на опытные работы с АБТУ РККА завод ДРО в 1937 году должен был изготовить три опытных образца бронеавтомобилей: БА-21, БА-22 и БА-23.
Первый базировался на шасси ГАЗ-21, второй — ГАЗ-ААА (о нем смотри «Фронтовая иллюстрация» № 6–2003 «Средние бронеавтомобили Красной Армии») и третий — на ГАЗ-22 (трехосное шасси 6x4, дальнейшее развитие ГАЗ-21). Однако из-за неудовлетворительной работы конструкторского бюро ни одна из этих машин в 1937 году изготовлена не была. К концу года началась сборка только одной машины — БА-21, которая по донесению военпреда на заводе ДРО «к 10 января 1938 года почти закончена».
Бронеавтомобиль БА-21 окончательно был принят представителем АБТУ РККА 9 февраля 1938 года «с опозданием на три месяца», как говорилось в донесении военпреда.
Внешне новый броневик был похож на несколько увеличенный в размерах БА-20М на трехосном шасси. Корпус машины сваривался из бронелистов толщиной 6–8 мм. Для посадки экипажа из трех человек служили две двери в бортах, для наблюдения за местностью использовались 4 лючка и смотровые щели.
Вооружение БА-21 состояло из двух пулеметов ДТ — в башне и лобовом листе корпуса — с боекомплектом в 1890 патронов (22 диска уложены у кормового листа, 8 в передней части корпуса). Броневик оснащался радиостанцией 71-ТК со штыревой антенной.
В феврале 1938 года БА-21 направили на полигонные испытания, показавшие целый ряд преимуществ по сравнению с БА-20М. Несмотря на большую массу (2,925 т против 2,32 у БА-20М), новый броневик превосходил БА-20М по проходимости по плохим грунтовым дорогам, косогорам и спускам. Однако максимальная скорость БА-21 была меньше, чем у БА-20 — всего 52,5 км/ч против 90 км/ч. Тем не менее, поднимался вопрос о развертывании серийного производства БА-21 вместо БА-20, однако после того как отказались от серийного выпуска автомобилей ГАЗ-21, вопрос отпал сам собой.
Опытный образец БА-21 находился на НИБТ полигоне до сентября 1941 года, а затем, вместе с другими машинами музея полигона, был эвакуирован в Казань. После войны БА-21 вернули в Кубинку, и в настоящее время броневик находится в экспозиции Военно-исторического музея бронетанкового вооружения и техники.