Originalmente, Colfax era conocido por los residentes de Denver de principios del siglo XX como “La Tierra de Nadie” y como “El Pueblo de Jim”. Esta área no estaba urbanizada pero contenía varias mansiones de familias adineradas al igual que una que otra choza de ocupantes ilegales.
Una gran ola de inmigrantes judíos provenientes del este de Europa llegó a esta área a fines del siglo XIX y principios del siglo XX. Atraídos por otros residentes que hablaban casi el mismo idioma y tenían antecedentes culturales y religiosos similares, los inmigrantes convirtieron esta “Tierra de Nadie” en la versión de Denver de un área residencial europea.
A medida que el área residencial crecía, también crecían sus problemas; y eso hizo que se interesaran en incorporarse. Aparecieron dos bandos: los que estaban a favor de la incorporación de la comunidad entera bajo el nombre de “Colfax”; y aquellos que estaban en la sección comercial, que era una pequeña hilera de negocios a lo largo de la Avenida Golden, justo al oeste del río, que permanecieron separados bajo el nombre de “Brooklyn”. Cuando Colfax se incorporó en 1891, Brooklyn se separó pero luego regresaron el año siguiente. Esta área, de 9.5 cuadras de largo y de 2.5 cuadras de ancho, tenía en esos tiempos, 300 habitantes. El pueblo de Colfax fue anexado a Denver en 1897. El nombre de “Golden Avenue” fue oficialmente cambiado a “West Colfax Avenue”. Esta gran avenida que cruzaba el pueblo fue nombrada en honor a Schuyler Colfax.
West Colfax Avenue era la calle principal de este pequeño pueblo. Estaba bordeada con edificios comerciales de ladrillo de dos pisos, tiendas, tabernas, un restaurante, un salón de reuniones y hasta un hotel. West Colfax tenía un constante flujo de carretas llenas de paja y mercaderes, debido a que todo el tráfico en ruta a Denver desde las comunidades agrícolas de Golden y Morrison convergía en ese lugar.
En la década de 1920 se abrieron en el área dos escuelas públicas, Colfax y Lake Junior High School, para satisfacer las necesidades de la creciente área residencial. Durante los años de la Era de la Depresión no se vió urbanización en el área residencial de West Colfax. En la década de 1940 y mediados de los años 50, ocurrió un auge de construcción de viviendas, característico de la era “Intermedia”. La mayoría de los terrenos desocupados al oeste de la Calle Utica fueron adquiridos para construir casas. West Colfax, junto con las áreas de Barnum y Sloan Lake experimentaron este auge de construcción de viviendas simultáneamente.
Las alcaldías de los años 50 promovieron los títulos de renta fija civil que crearon fondos para financiar la construcción de vivienda pública dentro y cerca de West Colfax. Los años 60 trajeron una ola de inmigración latina. Los años 70 trajeron familias anglo-sajonas y a mediados de los años 70 se establecieron familias del sureste de Asia en esta área residencial. Hoy en día, West Colfax es un área residencial conformada por una variedad étnica de residentes anglo-sajones, judíos, afro-americanos, latinos, indios nativos de Norteamérica y asiáticos.