小3から英語を学んでも、うまくならない?

文部科学省が、小学校3年生から英語教育を開始する方針を固めた。しかし、小学校3年生から英語を始めても、英語はうまくならない理由があるという人もいる。どのような理論だろうか。