De familia judeo conversa, hijo de Pedro de Cazalla, natural de Sevilla (Andalucía / España). Casado con Leonor de Vivero, tuvieron entre otros hijos a Agustín de Cazalla, canónigo de Salamanca, predicador de Carlos I, nacido en 1510, estudió en Valladolid, donde fue discípulo de Carranza, en 1552 fijó su residencia en España, en Valladolid, erasmista, había evolucionado, al parecer, hacia el luteranismo y se convirtió en el centro de un foco protestante en Valladolid, denunciado, fue juzgado y condenado a muerte en un auto de fe, reconciliado, fue estrangulado antes de arder en la pira en dicha ciudad de Valladolid en 1559. También tuvieron a Francisco de Vivero, Juan de Vivero (casado con Doña Juana de Silva, hija ilegítima del marqués de Montemayor), a Gonzalo Pérez, a Doña Beatriz de Viero, a Doña Constanza de Vivero, a Pedro de Cazalla (nacido en 1526), a Doña María y a dos monjas profesas en Santa Clara de Valladolid, Doña Juana y Doña Leonor.