Las primeras referencias escritas no las vamos a encontrar hasta bien entrado el siglo XVI con las descripciones del ingeniero de Felipe II nacido en Cremona Leonardo Torriani y con los relatos del portugués Gaspar Frutuoso.
En la obra de Torriani , señala que San Sebastián debía de tener unas doscientas casas y, en el mapa que realiza para el monarca, refleja con exactitud las referencias que hemos comentado: la iglesia, la torre, la ermita y el convento. Todos ellos unidos en una trama bastante regular con huertas entre las manzanas.
Sin embargo, Frutuoso sí nos revela el nombre de algunas calles, como la de San Francisco, que uniría la entrada al antiguo convento con la plaza mayor o plaza de la iglesia, quizá correspondiendo actualmente con la Avenida de Colón. Por otro lado nos habla de la ermita de Santa Ana, hoy desaparecida, y que se encontraría en la vía principal, no mucho más alejada de la iglesia matriz. Alrededor de la principal vía de comunicación, debieron de asentarse las principales viviendas de la gente adinerada, ya que conservaban las mejores fachadas, creciendo en torno al puerto las zonas más humildes de la capital.
Junto a estas edificaciones centrales, a finales del siglo XVI también había una ermita justo sobre el cauce del barranco de La Concepción, orientada al oeste del convento, la cual se encontraba bajo la misma advocación. Al otro lado, sobre la montaña de Buen Paso, otra homónima ermita; y en extrarradio de la urbe, dos ermitas más, una en Puntallana, dedicada a la patrona de la isla, la Virgen de Guadalupe, y otra mucho más al norte, erigida bajo la advocación de Nuestra Señora de las Nieves.
Hoy en día, de alguna manera, la traza urbana histórica de San Sebastián se mantiene en gran medida. Los principales elementos constructivos continúan en pie y siguen configurando un espacio de cierta regularidad deudor de aquellos primeros compases del nacimiento de la Villa. 500 años después, este pueblo sigue conservando la esencia de aquel tiempo donde la piedra, la cal y el mortero levantaron una serie de construcciones que hoy son patrimonio de todo el pueblo gomero.
Pablo Jerez Sabater