Optimización evolutiva de un método de discriminación visual entre mono y dicotiledóneas: resultados iniciales
Introducción
Por ejemplo en el caso de las malas hierbas varios autores constatan que la distribución de las infestaciones más perjudiciales para un determinado cultivo no es uniforme y afecta, por lo general, a menos del 40% del cultivo [1,2]. Debido a este hecho, la aplicación selectiva de herbicidas únicamente sobre las zonas infestadas puede suponer importantes reducciones en la cantidad de producto aplicado y aportar beneficios tanto económicos como ecológicos [3-5]. Es más, la eficacia es mayor si se realiza un tratamiento selectivo apropiado al tipo de infestación [6]. Uno de los criterios fundamentales en la selectividad de los herbicidas se apoya en las diferencias entre gramíneas y dicotiledóneas. Por este motivo, la determinación de los porcentajes de cobertura de ambos grupos es clave en el desarrollo de un sistema autónomo de tratamiento que permita ajustar el tipo de herbicida y la dosis a la infestación dominante.
Ahora bien para adecuar los tratamientos a las necesidades individuales de cada unidad de terreno es indispensable contar con información precisa del estado del cultivo a tratar: dónde hay mala hierba, el grado de cobertura o el tipo de infestaciones presentes. Tradicionalmente se han utilizado diferentes métodos tanto aéreos como terrestres para la obtención de información del cultivo. En el caso de las imágenes aéreas, tomadas con vuelos comerciales o satélites, la calidad y utilidad de la información recogida depende de las condiciones meteorológicas (ausencia de nubes o niebla) y, aunque la teledetección en agricultura ha experimentando un resurgimiento en los últimos años gracias al uso de cámaras híper y multi-espectrales [7], todavía el coste es alto y la resolución baja. Una interesante y reciente alternativa es la utilización de vehículos aéreos no tripulados (UAV) que permiten obtener información de mayor resolución a un coste relativamente bajo [8]. La principal desventaja de esta opción es la poca autonomía energética de los vehículos que en el mejor de los casos realizan vuelos de media hora. En cuanto a la recogida de información desde tierra, ésta permite una resolución inferior al centímetro con imágenes que cubren pequeñas zonas del cultivo. En este caso las fotografías suelen tomarse desde alturas inferiores a los tres metros, mediante cámaras montadas sobre tractores, robots agrícolas o simplemente utilizando un trípode [9-19].
La discriminación de malas hierbas ha sido tratada por varios autores [20-24]; en algunos de estos casos trabajando con imágenes con un solo tipo de infestación [23, 24] o con aproximaciones con alto coste computacional [21].
Este artículo presenta el proceso de ajuste de un método de visión por computador para la discriminación entre mono y dicotiledóneas, en concreto un método que combina una operación de segmentación basada en color (RGB) con un conjunto de operaciones morfológicas. El principal desafío en términos de análisis de imagen es lograr una discriminación correcta en imágenes tomadas en exterior con iluminación no controlada.
Material y métodos
Segmentación de las imágenes
Las imágenes empleadas en este trabajo recogen un espacio entre las líneas de cultivo de maíz de 50× 50 centímetros (figura 1a) y tienen una resolución original de 1.700 × 1.700 píxeles. Fueron tomadas con una cámara situada en un trípode, en distintos campos localizados en los alrededores de Madrid, en diferentes días y, por tanto, bajo condiciones de iluminación variables. La vegetación que aparece en las imágenes corresponde siempre a malas hierbas: monocotiledóneas, dicotiledóneas o ambos tipos. Para todas las imágenes recogidas se construyó manualmente una imagen patrón binaria en la que parecen en blanco solo los píxeles correspondientes a cubierta de dicotiledóneas. Estas imágenes patrón son las que permitirán ajustar y verificar el método propuesto.
donde R(i, j), G(i, j) e B(i, j) son los valores de intensidad (de 0 a 255) de los planos rojo, verde y azul respectivamente para el píxel (i, j) y los coeficientes r, g y b son valores reales constantes que determinan la construcción de una imagen en escala de grises adecuada. Los valores de los coeficientes se han fijado como: r = -0,884, g = 1,262, y b = -0,311 siguiendo los resultados del estudio descrito en [26]. El resultado de la segmentación de la capa vegetal se puede comprobar en la figura 1b.
Operaciones morfológicas
Dos características definen una operación morfológica: el tipo de operación a realizar (erosión, dilatación, apertura y cierre) y el elemento estructural a utilizar junto con su centro. En la aproximación propuesta se ha optado por utilizar las operaciones de dilatación y erosión y una matriz como elemento estructural. Es importante señalar que las operaciones de apertura y cierre se construyen como combinación de operaciones de dilatación y erosión por lo que la elección de operaciones para el método es la más general posible.
Asimismo la aproximación propone la aplicación secuencial de un conjunto de operaciones morfológicas, y por tanto el orden y tipo de cada una serán también factores que introducirán aun más variabilidad y ampliarán el espacio de posibles soluciones. Incluso fijando el número máximo de operaciones a aplicar en el procesamiento de la imagen y el tamaño máximo del elemento estructural (matriz), es necesario un método de búsqueda que se adapte a un espacio muy grande de posibles soluciones, como es el caso de los algoritmos genéticos [28].
Ajuste del método mediante algoritmos genéticos
En general un algoritmo genético es un método de exploración paralelo en el que se analiza más de una solución (población) en cada iteración. El método tiene cinco componentes básicos [31]. El algoritmo debe incluir un esquema de representación en el que codificar todas las soluciones del problema. Una función de evaluación (fitness) que permita ordenar las soluciones según lo buenas que sean en la resolución del problema. También es necesario definir los operadores genéticos (cruce y mutación) que permitan generar nuevas soluciones y con ello moverse a través del espacio de búsqueda (exploración). Y por último es necesario definir un conjunto de parámetros de ejecución así como desarrollar un método para generar las soluciones de partida o población inicial.
Codificación de las soluciones del problema: Esquema de representación
Función de fitness
Configuración del resto de componentes del algoritmo genético
Como método de selección se utilizó la ruleta. Para recombinar dos individuos se empleó un operador de cruce en dos puntos. La fracción de individuos de la población generados mediante cruce se fijó en 0,8 (80%). El operador de mutación se implementó de modo que generaba para cada individuo o solución un vector de probabilidades formado por números reales aleatorios en el intervalo [0,1]. El número de componentes del vector era igual al número de bits del individuo, es decir 304. A partir de este vector, en el individuo se invertían los valores de los bits cuya componente asociada en el vector de probabilidades presentaba un valor menor que la probabilidad de mutación fijada. La probabilidad de mutación se fijó en 0,2 (20%).
Por último, se incluyó una operación adicional de elitismo para asegurar la convergencia. Con este operador el mejor individuo de la población de partida siempre sustituía al peor individuo de la nueva generación.
Resultados
Para la etapa de ajuste del método se tomaron 4 fotos seleccionadas aleatoriamente de la colección de fotografías recogidas en el campo. Las diferentes ejecuciones realizadas convergieron a un resultado satisfactorio alrededor de las 5.000 generaciones. El valor de aptitud más bajo obtenido fue de 0,0234, que se corresponde con una diferencia entre la imagen original y patrón de aproximadamente 17.000 píxeles en una imagen de 722.500 píxeles, es decir un 2,34%. La figura 3 recoge la batería de operaciones morfológicas obtenida con el algoritmo genético.
La solución hallada por el algoritmo genético emplea únicamente seis operaciones, tres erosiones y tres dilataciones, con elementos estructurales variables.
En la tabla 1 se muestran los resultados obtenidos de la aplicación del método ajustado con el algoritmo genético sobre varias imágenes de la colección de partida y que no coinciden con las imágenes utilizadas en el entrenamiento. Para calcular los porcentajes de gramíneas (que han sido eliminadas por el procesado) se resta la imagen procesada (sólo dicotiledóneas) de la imagen original, obteniendo una imagen que contiene únicamente monocotiledóneas.
En la tabla vemos que los porcentajes estimados y reales son bastante similares, existiendo diferencias del 0,3% al 2,5%. Como el objetivo final de este trabajo es determinar si una especie es más abundante que otra para elegir el herbicida adecuado o aplicar ambos tratamientos si no hay una diferencia notable, podemos concluir, con los resultados obtenidos, que el método de procesamiento ajustado con el algoritmo genético consigue de forma bastante satisfactoria que la infestación dominante en la imagen original también sea dominante después del procesamiento de la imagen. Hay una excepción, en los resultados para la imagen 5, donde los porcentajes calculados podrían hacer pensar que la infestación dominante es la de monocotiledóneas (6,44%) frente a las dicotiledóneas (2,99%) cuando los valores reales dicen todo lo contario (5,09 % de dicotiledóneas frente a 4,35% de gramíneas). Este comportamiento viene provocado porque los porcentajes de ambos tipos son muy parecidos y, además, las dicotiledóneas no son mucho más anchas que las gramíneas, razón por la que parte de las mismas son eliminadas con las tres operaciones de erosión previas al proceso de dilatación.
Conclusiones
La aproximación propuesta en este trabajo se basa en operaciones morfológicas combinada con una operación de segmentación previa que permite aislar la capa vegetal. Debido a las vastas posibilidades de configuración de una batería de estas operaciones morfológicas para implementar adecuadamente la discriminación, se ha recurrido a un algoritmo genético como método de ajuste.
El sistema empleado ha demostrado ser eficaz y sencillo, estando basado en operaciones morfológicas muy comunes en el procesamiento de imagen. Los porcentajes reales de mala hierba calculados manualmente a partir de las imágenes (patrón) y los obtenidos con el método propuesto y optimizado mediante la estrategia evolutiva son muy parecidos. De hecho, en el mejor de los casos se estima de forma correcta el 89 % de la cobertura de gramíneas.
En el marco de un proyecto más amplio en agricultura de precisión, en concreto en el desarrollo de un sistema autónomo de reconocimiento y tratamiento de campos de cultivo, la aproximación propuesta es un paso importante para implementar una aplicación selectiva de herbicidas aunque es necesario ampliar el número de imágenes contenidas en la colección de entrenamiento, así como estudiar los tiempos asociados al empleo de los elementos estructurales (erosión y dilatación) para lograr un método aplicable de un modo efectivo en situaciones reales.
Agradecimientos
Este trabajo está financiado por Ministerio de Economía y Competitividad y la Unión Europea a través de los proyectos PLAN NACIONAL - AGL2011-30442-C02–02 (GroW) y NMP-CP-IP-245986-2 (RHEA).
Este trabajo fue presentado en el 9°Congreso Europeo de Agricultura de Precisión, celebrado en Lleida del 7 al 11 de julio de 2013.
Referencias bibliográficas
1. Marshall, E.J.P. Field-scale estimates of grass weed populations in arable land, Weed Research, 28 (3), 191-198 (1988)
2. Johnson, G.A.; Mortensen, D.A.; Martin, A.R. A simulation of herbicide use based on weed spatial distribution. Weed Research, 35 (3). 1995. pp. 197-205.
3. Tian, L.; Reid, J.F.; Hummel, J.W. Development of a precision sprayer for site-specific weed management. Transaction of the American Society of Agricultural Engineers, 42, 893-900 (1999)
4. Medlin C.R.; Shaw, D.R. Economic comparison of broadcast and site-specific herbicide applications in nontransgenic and glyphosate-tolerant Glycine max. Weed Science 48 (5), 653-661 (2000)
5. Timmermann, C.; Gerhards, R.; Kühbauch, W. The economic impact of site-specific weed control. Precision Agriculture, 4 (3), 249-260 (2003)
6. Tang, L.; Tian, L.; Steward, B.L. Classification of broadleaf and grass weeds using Gabor wavelets and an Artificial Neural Network. Transactions of the ASABE, 46 (4), 1247-1254 (2003)
7. López Granados, F.; Jurado-Expósito, M.; Atenciano, S.; García-Ferrer, A.; Sánchez de la Orden, M.; García-Torres, L. Spatial variability of agricultural soils in southern Spain, Plant and Soil 246, 97–105, (2002)
8. López Granados, F. Discriminación de malas hierbas en cultivos de las imágenes de satélite a los vehículos aéreos no tripulados. Tierras de Castilla y León: Agricultura, 192, pp. 28-35 (2012).
9. Ribeiro, A.; Fernández-Quintanilla, C.; Barroso, J.; García-Alegre, M.C. Development of an image analysis system for estimation of weed cover and weed pressure. Proceeding 5th European Conf. On Precision Agriculture (5th ECPA), 1, 169-174 ISBN: 90-76998-69-8, (2005)
10. Pajares, G.; Tellaeche, A.; BurgosArtizzu, X.; Ribeiro, A. Design of a computer vision system for a differential spraying operation in precision agriculture through Hebbian learning. IET Computer Vision 1 (3-4), pp. 93-99, (2007)
11. Ribeiro, A.; Burgos-Artizzu, X.P.; Pajares, G.; Tellaeche, A.; Fernandez-Quintanilla, C. Procesamiento de imagen para estimar la cantidad de malas hierbas gramíneas en cultivos de cereal de invierno. Actas del XI Congreso de la Sociedad Española de Malherbología “La malherbología en los nuevos sistemas de producción agraria” (XI SEMh), 1, 291-294; ISBN:978-84-87787-24-9, (2007)
12. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. A vision-based method for weeds identification through the Bayesian decision theory. Pattern Recognition 41 (2), pp. 521-530, (2008)
13. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. Fernández-Quintanilla, C. A new vision-based decision making approach for a differential spraying operation in Precision Agriculture. Computers and Electronics in Agriculture 60 (2), 144-155, (2008)
14. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernández-Quintanilla, C. Improving weed pressure pssessment using digital images from an experience-based reasoning approach. Computers and Electronics in Agriculture 65 (2), 176-185, (2009)
15. Pajares, G.; Guijarro, M.; Ribeiro, A. A Hopfield Neural Network for combining classifiers applied to textured images. Neural Networks 23 (1), 144–153, (2010)
16. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernandez-Quintanilla, C. Analysis of natural images processing for the extraction of agricultural elements. Image and Vision Computing 28 (1), 138–149 (2010)
17. Burgos-Artizzu, X.P.; Ribeiro, A., Guijarro, M.; Pajares, G. Real-time image processing for crop/weed discrimination in maize fields. Computers and Electronics in Agriculture 75 (2), 337-346 (2011)
18. Guijarro, M.; Pajares, G.; Riomoros, I.; Herrera, P.J.; Burgos-Artizzu, X.P.; Ribeiro, A. Automatic segmentation of relevant textures in agricultural images. Computers and Electronics in Agriculture 75 (1), 75-83 (2011)
19. Tellaeche, A.; Burgos-Artizzu, X.P.; Pajares, G.; Ribeiro, A. A computer vision approach for weeds identification through Support Vector Machines. Applied Soft Computing 11 (1), 908-915 (2011)
20. Lee, W.S.; Slaughter, D.C.; Giles, D.K. Robotic weed control system for tomatoes. Precision Agriculture 1 (1), 95-113 (1999)
21. Meyer, G.E.; Mehta, T.; Kocher, M.F.; Mortensen, D.A.; Samal, A. Textural imaging and discriminant analysis for distinguishing weeds for spot spraying. Transactions of the ASABE. 41 (4), 1189-1197 (1998)
22. Tian, L.; Reid, J.F.; Hummel, J.W. Development of a precision sprayer for site-specific weed management. Transactions of the American Society of Agricultural Engineers, 42, 893-900 (1999)
23. Ishak, A.J.; Hussain, A.; Mustafa, M.M. Weed image classification using Gabor wavelet and gradient field distribution. Computers and Electronics in Agriculture, 66, 53-61 (2009)
24. Hemming, J.; Rath, T. Precision agriculture: computer-vision-based weed identification under field conditions using controlled lighting. Journal of Agricultural Engineering Research 78 (3), 233-243 (2001)
25. Woebbecke, D.; Meyer, G.; Vonbargen, K.; Mortensen, D. Colour indices for weed identification under various soil, residue and lighting conditions. Transactions of the American Society of Agricultural Engineers, 38 (1), 271-281 (1995)
26. Burgos-Artizzu, X.P.; Ribeiro, A.; Tellaeche, A.; Pajares, G.; Fernández-Quintanilla, C. Analysis of natural images processing for the extraction of agricultural elements. Image and Vision Computing, 28, 138-149 (2010)
27. Haralick, R.M.; Sternberg, S.R.; Zhuang, X. Image analysis using mathematical morphology. IEEE Transactions on Pattern Analysis and Machine Intelligence, 9 (4), 532-550 (1987)
28. Goldberg, D.E. Genetic Algorithms in Search, Optimization and Machine Learning, Kluwer Academic Publishers, Boston, MA, (1989)
29. Hamid, M.S.; Harvey, N.R.; Marshall, S. Genetic algorithm optimization of multidimensional grayscale soft morphological filters with applications in film archive restoration. IEEE Transactions on Circuits and Systems for Video Technology, 13 (5), 406-416 (2003)
30. Harvey, N.R.; Marshall, S. The use of genetic algorithms in morphological filter design. Signal Processing: Image Communication, 8 (1), 55-71 (1996)
31. Rawlins, G.J.E. Foundations of Genetic Algorithms. Morgan Kaufman Publishers. (1991)
