'Average' means 'in the middle' or 'not extreme', and 'Joe' is a common male name. So 'average Joe' refers to a man who is not extremely different from everyone else.
Average意思是“平均的，一般水平的”，而Joe又是一个极其常见的名字，所以人们就用average Joe来表示很普通的一个人。例如我们会说，雷•罗马诺是这个时代全美最受欢迎的电视明星之一，可他却似乎不把自己当成什么大人物，仿佛就是与你生活在同一座城市里的“average Joe”。