Хотя музыкальные инструменты использовались в военном деле еще в раннем средневековье, годом основания военно-оркестровой службы в российской армии считается 1711, потому что именно в этом году Петр I своим указом учредил военные хоры (оркестры) в частях регулярной армии. В их состав входили гобоисты, трубачи, валторнисты, барабанщики и литавристы. Такие оркестры не только помогали солдатам маршировать и поднимали боевой дух, но и осуществляли сигнальную службу.
В период царствования Екатерины II состав военных оркестров пополнился новыми инструментами, а у некоторых полков было по несколько оркестров, насчитывавших до сотни музыкантов. При Павле I их численность резко сократилась: в пехоте и драгунских полках состав хоров сократили до пятерых музыкантов, в артиллерии — до восьми, а в гарнизонных полках хоров и вовсе не было; однако через некоторое время количество музыкантов в военных оркестрах снова начало расти.
В 1813 году военные оркестры впервые участвовали в благотворительном концерте, доходы от которого шли на помощь ветераном войны. Впоследствии такие «инвалидные» концерты проводили ежегодно вплоть до начала Первой мировой войны. Репертуар военных оркестров в XIX веке включал, естественно, разнообразные марши, а также героико-патриотическую музыку и произведения классических композиторов.
Большой вклад в развитие военной музыки в России сыграл известный композитор Николай Римский-Корсаков, который с 1873 по 1884 год занимал должность инспектора военно-морских хоров (оркестров). На этом посту он усовершенствовал составы военных оркестров и разработал систему подготовки военных музыкантов и капельмейстеров.
После Октябрьской революции структура управления военно-оркестровой службы Красной армии начала формироваться прямо в годы гражданской войны, однако официально она была сформирована 14 января 1921 года. Название главного органа управления службы, как и его подчиненность, неоднократно менялось на протяжении всей истории Вооруженных сил СССР. В последние годы существования Советского Союза Военно-оркестровая служба подчинялась Министерству обороны СССР.
Сегодня Военно-оркестровая служба ВС РФ подчиняется Генеральному штабу Вооруженных сил. В ее состав входят военные оркестры различного уровня — от оркестров соединений, воинских частей и военно-учебных заведений до центральных оркестров — военно-учебные заведения (Московское военно-музыкальное училище и Военный институт (военных дирижеров)) и Орган управления Военно-оркестровой службы. Руководство службой осуществляет главный военный дирижер.
В современном мире музыкальные инструменты уже не используются для управления формированиями в бою, однако военно-оркестровая служба продолжает играть важную роль в вооруженных силах. Сегодня главная ее задача — содействие духовному и культурному развитию военнослужащих и гражданского персонала российских вооруженных сил.
Долгое время День военно-оркестровой службы отмечался 19 февраля, в годовщину учреждения Петром I военных оркестров. Однако в 2021 году этот профессиональный праздник был перенесен на 14 января — годовщину учреждения Бюро военных оркестров Красной Армии и Флота — соответствующим приказом Министерства обороны Российской Федерации.