芷江历史悠久，禹贡为荆州之域，战国属楚黔中地，秦为黔中郡地。汉高祖五年(公元前202年)称无阳县，晋改舞阳县，隶属武陵郡。唐设巫州，后改沅州，宋置卢阳县，清乾隆元年(公元1736年)始称芷江县，属湖南布政使司。民国11年，直隶于省。解放前属湖南省第十行政督察区。新中国成立初，属会同专区。1952年8月改属芷江专署，是年12月属黔阳专区。1981年至今改属怀化地区。1986年9月，经国务院批准，废芷江县设芷江侗族自治县。

芷江地处湖南西部，云贵高原东缘，地理座标为东经109°17’31"至109°54’49"，北纬27°04’12"至27°38’24"。东接怀化(至县城直线平距26.7公里),西至贵州万山、新晃(离县城直线平距38.8公里),南与会同、贵州天柱相连(距县城直线平距46.6公里)，北抵麻阳(距县城直线平距23.8公里)，距省会长沙498公里(铁路)。全境东西宽61.5公里,南北长63公里,总面积2098.89平方公里，约占全省总面积1％。整个地貌以丘陵为主，地势由北向东南方向倾斜，四周高，中部低，形成盆地。县境山地分南、北干支，北干支为米公山、西晃山，平均海拨1000米，南干支为天南山。最低点海拨208米，最高处海拨1045米。舞水是境内最大河流。