Народився у Вашингтоні (округ Колумбія) 29 квітня 1899 у негритянській сім'ї середнього достатку. Прізвисько Duke («Герцог») отримав будучи підлітком за підкреслену увагу до свого одягу. З 7 років почав займатися на фортепіано, у віці 15 років склав свій перший регтайм. В той же час проявив здатності до живопису та одержав грант, що давав можливість продовжити навчання в коледжі за фахом промислового дизайну, проте обрав кар'єру музиканта.
У 1919 році Еллінгтон одружився, а через рік у нього народився син — Мерсер, що згодом стане музикантом в оркестрі свого батька.
У 1923 році разом з невеликим ансамблем «Вашингтонці» Еллінгтон перебрався в Нью-Йорк, де познайомився з такими музикантами, як піаніст Віллі «Лев» Сміт, кларнетист-саксофоніст Сідней Беше, а також трубач Джеймс «Баббер» Майлі, який незабаром став учасником оркестру. Там він домігся п'ятирічного контракту в Коттон-клубі, престижному місці розваг гангстерів та нью-йоркської еліти.
Вже у другій половині 1920-х років Еллінгтон склав і записав на платівки речі, які перевидаються на платівках дотепер і входять у репертуар і традиціоналістів й авангардистів (the Mooche, Black & Tan Fantasy, East St Louis Toodle-Oo).
В 1930-ті роки Дюк і його музиканти вибиваються в перші ряди всеамериканської популярності. Еллінгтон вміло вписується в епоху біг-бендів, під час економічної кризи в США 1930-х років оркестр Еллінгтона успішно гастролює по Європі. В оркестрі Еллінгтона грали такі видатні музиканти, як саксофоніст Джонні Ходжес і трубач Гуляй Вільямс, що однаково легко володів і стилем джунглів, і відкритим потужним звуком Луїса Армстронга. В 1931 здійснює перший запис у стилі свінг — «Creole Rhapsody», щоправда постійні записи Еллінгтон почав робити пізніше — у 1940-х роках.
Еллінгтона також знали як автора яскравих інструментальних композицій (написаних в основному в співавторстві зі членами його оркестру — як знаменитий Караван — із тромбоністом Хуаном Тізолом: Rockin' In Rhythm й ін.) і декількох популярних пісень (Mood Indigo, Solitude, In a Sentimental Mood і вже після Другої світової війни — Satin Doll).
Більше того, уважається, що радіостанція Бі-Бі-Сі, бажаючи замінити «старомодне» слово «джаз» якимсь іншим, скористалася словами з пісні Еллінгтона It Don't Mean a Thing, if It Ain't Got That Swing (у перекладі: без свінгу [тобто «розгойдування»] ця музика нічого не коштує).
В 1930-і роки Еллінгтон почав усвідомлювати себе композитором. Він постійно прагнув перебороти нав'язане джазу обмеження тривалості звучання музики (3 або максимум 5 хвилин; стільки вміщувалося на одну сторону старої шелакової пластинки на 78 про/хв), а в 1942 навіть склав багаточастинну сюїту «Чорні, коричневі й беж» (Black, Brown & Beige; частина збору від прем'єри пішла на користь Червоної Армії). Згодом Еллінгтон склав кілька десятків таких сюїт (не всі однаково вдалі).
Еллінгтон одним з перших довів, що в джазі можна грати й голосно й тихо й переходити від одного нюансу до іншого, у нього вперше контрабас став не ритмічним, а мелодійним голосом. Знамениті дуети з контрабасистом Джимми Блентоном були записані на пластинки на початку 1940-х років, але самі ідеї одержали розвиток лише у творчості піаніста Білла Еванса й контрабасиста Скотта Ла Фаро наприкінці 1950-х років.
У повоєнний час біг-бенди переживають період занепаду. З оркестру Еллінгтона пішли Гуляй Уильямс, а потім Джонні Ходжес. Проте у 1956 оркестр Еллінгтона мав тріумфальний успіх на фестивалі в Ньюпорті. Яскравою зіркою оркестру стає тенор-саксофоніст Пол Гонзалвес.
В 1957 році Еллінгтон написав знамениту «шекспірівську сюїту» Such Sweet Thunder, записав платівки з Еллою Фіцджеральд і Френком Синатрою. З фірмою останнього «Reprise» Еллінгтон був зв'язаний контрактними зобов'язаннями протягом практично всіх 1960-х років; саме в цей період вийшов альбом «Symphonic Ellington», записаний на гастролях у Європі, у тому числі з оркестром міланського театру «Ла Скала».
Еллінгтон багато гастролював, в 1971 виступав у СРСР, давши 5 концертів у Москві. На гастролях у Радянському Союзі, зокрема, уперше показувалися фрагменти тільки що складеної сюїти Afro-Eurasian Eclipse, які разом з Далекосхідною сюїтою (Far East Suite, 1966) вважаються одними з кращих досягнень Еллінгтона-композитора.
Навесні 1972 року у Дюка Еллінгтона знайшли рак. 24 травня 1974 року він помер в Нью-Йорку.