在旭川流域，现在的冈山城附近曾经有过三个山丘，分别叫做冈山、石山和天神山。正是宇喜多直家获得了这个位于石山的城堡，并将其作为自己的根据地，使冈山地区成为了战国时期的前沿阵地。他的儿子秀家决定在冈山的山丘上建本丸(主城楼)，从而建造了留存至今的冈山城(天守于1597年完工)。根据江户时代的文献资料记载，据说该城堡是在丰臣秀吉的指导下建造的。此外，利用支流多的旭川河道，对河流进行了整流，形成了现在这样保护城堡的北面和东面的护城河，并在护城河之间形成了一个南北走向的长长的城下町(城镇)。这样一来，就形成了延续至今的城市中心街区的雏形，冈山这个名字也成为了城市和县名的来源。城堡和城下町，由后来成为该城堡主人的小早川秀秋和池田家进一步地进行了扩建，从而形成了现在这个风貌。

 冈山城的天守，由于其像织田信长的安土城和丰臣秀吉的大阪城一样，在其外墙覆盖了涂有黑色的木板，因此它有一个别名，叫做乌城。通过发掘，还出土了宇喜多秀家时期的金箔瓦片，在建造城堡时，整个城堡的主要建筑到处都使用了金箔瓦片，这显示了丰臣政权下有势力大名的尊严。因此它也被称为金乌城。

 城堡的另一个特点是，天守的石墙和第一层的平面呈不等边的五角形状，据说这是由城堡地基的冈山山丘的地形所决定的。此外，在西侧还有一个盐仓库，作为附属的箭楼，并有一个通往天守的入口。

 天守是一个在明治维新之后还保存完好的很有价值的存在，在昭和初期曾经留存有详细的图纸，但在战争期间被战火烧毁。然而，1966年，天守得到了重建，以展示给人们它曾经辉煌的英姿。