Området har fått sitt namn från läget inom vallgraven, som ursprungligen även omslöt stadens befästningar. Stadsdelen avgränsas i söder av Rosenlundskanalen och Vallgraven från väster till öster, av Drottningtorget och Nils Ericsonsgatan i öster/nordost, av Kanaltorgsgatan och Christina Nilssons gata i norr/nordväst samt Packhusplatsen, Skeppsbron och Göta älv i väst/nordväst. Stadsdelen har en areal på 64 hektar.[1]

Primärområdet Inom Vallgraven, som även inkluderar stadsdelen Nordstaden, är stadens kärna med byggnader som Kronhuset, Göteborgs stadsmuseum, Göteborgsoperan, Hovrätten, Länsresidenset, Domkyrkan och Tyska kyrkan samt Drottning Kristinas jaktslott.