在不可考的年代，这里飞来两快条石，大抵为孪生，一律的一摆多长，尺余见方，形似鲤鱼，曰“黄石公”。许是秦末那位军事家，不愿出山而身幻飞来石归隐这灵杰之地。石分雌雄，雄者现居香山观，整日俯瞰黄石全貌，成为该山该观镇山之宝；雌石飞到观音寺，寺中以四柱作架，上有铁钩挂之，设于关帝宫左侧，以物扣之，有乐声传出，且每部位各具佳音：激越时，如锐箭穿空，利刃飞舞；清浅时，如山泉叮咚，绿苔沁脾；厚重时，如战鼓催人，狼烟四起，宏扬时，如虎啸群峰，万马齐喑。

　　就是这位黄石公，秦末调教出杰出的张良，张良将所承兵法放在罗公山。数百年后的刘伯温时任县令，住地离此不远，见元虐汉人，心中一直愤懑。一日无事，无意间走到罗公山前，上书“遇刘而开”，山壁顿时石门洞开，入洞得黄石兵法二卷，欲出洞，闻鸣叫声，展睛一瞧，一猿靠壁，曰：刘公救我！伯温愕然，猿紧锁愁眉，黄石公派我镇守兵法百年，刘公须揭我头上之符，便算救我。伯温轻揭符敕，猿顿感自由，飞奔洞外。伯温径出得洞来，石门悠然合拢。

　　因了黄石飞来之石，本地定名“黄石”。

　　唐末，黄巢起兵，军队所过，白骨枕籍，尤以四川最为惨烈。战区劳动力严重不足，中央政府便下令湖南人填迁四川，江西人填迁湖南，黄石则是由江西迁来的黎、廖、苏三姓，皇上下令，三姓插赐为标，你的田种到哪儿哪儿就是你的私田，时人修建的三姓祠上，扁额即为御笔：“皇上恩锡”，祠堂就座落在观音寺旁。黎姓选择了黎家峪，即今杨柳村，廖家住在五星，即今东山村，苏家于金洪落户，后迁往枫树的苏家堆。

　　这便是黄石人口结构的最初的雏形。黎、廖两家至今仍是黄石的大姓。