¿Es la deuda técnica tan mala como la pintan?

Miguel Camacho Ruiz—

Yo siempre he pensado que hay que tener soluciones técnicas vivas, funcionales y afiladas. Buen software que resista el paso del tiempo y los cambios de contexto; software al que se le dedica cariño y cabeza.
Por otra parte, el tiempo que inviertes en darle un toque extra de calidad al código e infraestructura lo podías estar invirtiendo en cosas por las que el cliente paga más.
La vida del software es muy irregular. Algunas piezas están funcionando en su esquinita desde hace 10 años. Otras durarán unos meses en producción antes de morir o ser reemplazados. Es díficil saber a priori qué parte merece el esfuerzo y qué parte es para salir del paso.
Y aquí os pregunto: ¿Qué historias de miedo tenéis con deuda técnica? ¿Es tan mala como la pintan o un asustabobos? ¿Realmente renta hacer las cosas más lento para hacerlas mejor? Contadme vuestras historias, quiero aprender en cabeza ajena :).
P.D.: Kudos xkcd, que tiene esta imagen y otras cuantas miles a cada cual mejor :)