Obtener el día anterior; fecha

Dim diaAnterior As DateTime = Now.ToString("dd-MM-yyyy")
        diaAnterior = diaAnterior.AddDays(-1)
        MessageBox.Show(diaAnterior.ToString("dd-MM-yyyy"))

Ejemplo 2
Dim diaAnterior As String = (Convert.ToDateTime(Now.ToString("dd-MM-yyyy")).AddDays(-1)).ToString("dd-MM-yyyy")

Ejemplo 3
Dim diaAnterior As String = Now.AddDays(-1).ToString("dd-MM-yyyy")

Ejemplo 4
Dim ayer As String = DateTime.Today.AddDays(-1).ToString("dd-MM-yyyy")